Le problème réel était que mon utilisateur manquait d'une manière ou d'une autre dans `/etc/shadow.
Je laisserai cette question ouverte pendant un certain temps afin que les gens puissent mettre plus de conseils de dépannage ici.
Assurez-vous également que les autorisations sur ~/.ssh sont de 700 et que ~/.ssh/authorized_keys est de 600. Le serveur ne vous laissera pas utiliser la clé si les autorisations sont incorrectes.