Voir si la fiche d'identité est répertoriée
ssh-add -l
Sinon, ajoutez-le
ssh-add ~/.ssh/username
A ensuite pu sélectionner le bon fichier d'identité
Il semble que ssh essaie toutes les identités qu'il connaît. Si vous souhaitez uniquement essayer l'identité spécifiée dans le fichier de configuration, ajoutez la ligne
IdentitiesOnly = yes
à cette section Host de votre fichier .ssh/config.
Voici la section pertinente de la page de manuel ssh_config :
IdentitiesOnlySpécifie que ssh(1) ne doit utiliser que les fichiers d'identité d'authentification configurés dans les fichiers ssh_config, même si ssh-agent(1) offre plus d'identités. L'argument de ce mot clé doit être ''oui'' ou ''non''. Cette option est destinée aux situations où ssh-agent propose de nombreuses identités différentes. La valeur par défaut est ''non''.