Procurando no google aparentemente ntfs é mais rápido que o ext3 sim, mas foi uma busca rápida então você deveria fazer uma mais completa para ter maior confiabilidade.
De qualquer forma, ao menos o ext3 não fragmenta como o ntfs e tem todas as permissões que o linux espera.
Então se você vai usar só linux é melhor ficar com o ext3 mesmo.
Como outro motivo para ficar com o ext3 ao invés do ntfs, li recentemente que o ext4 passou a ser considerado estável e ele possui várias melhorias em relação ao ext3 quanto a performance. Acho até que ele deva vir no ubuntu 9.04.
Parece que haverá um meio de converter um sistema de arquivos ext3 para ext4 sem precisar formatar.
Vamos esperar para ver.