Por padrão, o SSH procura um arquivo de chave ".ssh/id_rsa". Se o arquivo não existe, ou se tem a chave correta, ele passa pra próxima autenticação autorizada (normalmente, senha).
Uma coisa que dá pra fazer e que fica muito legal é usar o nome do host como nome do arquivo. Tipo, dá pra colocar automaticamente a chave "id_rsa-meuHost" quando vc executar "ssh fulano@meuHost", por exemplo. Eu uso muito isso pra ter várias chaves de acesso, uma pra cada um dos meus (muitos) servidores.