Si estás seguro de que puedes eliminar un archivo definitivamente sin que te arrepientas luego, entonces puedes usar este pequeño truco.

Selecciona el archivo que desees eliminar y después pulsa las teclas: Shift + Supr.

Acepta el mensaje y el archivo se eliminará sin pasar por la papelera.