cat
pour afficher le contenu, redirigé vers sort
pour les trier, redirigé vers uniq
pour imprimer les valeurs uniques :
cat test1.txt | sort | uniq
vous n'avez pas besoin de faire le sort
partie si le contenu du fichier est déjà trié.
Si cela ne vous dérange pas que la sortie soit triée, utilisez
sort -u
Cela trie et supprime les doublons