Cela dépend de votre serveur ssh (et de la distribution Linux).
Découvrez /etc/ssh/sshd_config (ou similaire, c'est du moins dans les distributions basées sur Debian).
Il y a une ligne
Port 22
Changez-le et redémarrez votre sshd (généralement /etc/init.d/ssh restart , cela peut être aussi /etc/init.d/sshd ).