cat pour afficher le contenu, redirigé vers sort pour les trier, redirigé vers uniq pour imprimer les valeurs uniques :
cat test1.txt | sort | uniq
vous n'avez pas besoin de faire le sort partie si le contenu du fichier est déjà trié.
Si cela ne vous dérange pas que la sortie soit triée, utilisez
sort -u
Cela trie et supprime les doublons