Vos clés SSH ne doivent pas être automatiquement ajouté à l'agent simplement parce que vous vous êtes connecté en SSH à un serveur...
Exécutez ssh-add -l pour lister les clés de l'agent, ssh-add -D pour nettoyer toutes les clés.
Une autre façon de limiter les clés à vérifier est d'ajouter IdentitiesOnly yes à /.ssh/config et une liste d'entrées
IdentityFile ~/.ssh/<nameofkey>
Vous pouvez également les ajouter à chaque entrée Hôte :
Host server-name
HostName <ipaddress>
User <username>
IdentityFile ~/.ssh/<nameofkey>
La page de manuel SSH propose également plus d'options.