Depende muito de como você considera estes arquivos como "repetidos":
1. Dois arquivos com o mesmo conteúdo e nome: "arquivo.txt" em pastas diferentes são realmente arquivos repetidos
2. Dois arquivos com o mesmo conteúdo, mas nomes: "arquivo.txt" e "arquivo.pdf", estando na mesma pasta ou em pastas diferentes já não podem exatamente serem considerados como 'repetidos'.
3. Dois arquivos em pastas diferentes, também diferentes em seu conteúdo, porém com nomes: "arquivo.txt" serão considerados 'repetidos' se você fizer uma busca baseada apenas no nome do arquivo...
Enfim, é um tanto quanto complexo definir isso. É necessário fazer uma definição muito restrita sobre o que se deseja fazer para não acabar excluindo algo que não se queira.