Un énorme fichier texte (jusqu'à 2 Go) contient environ 100 doublons exacts de chaque ligne qu'il contient (inutile dans mon cas, car le fichier est un tableau de données de type CSV).
Ce dont j'ai besoin, c'est de supprimer toutes les répétitions tout en maintenant (de préférence, mais cela peut être sacrifié pour une amélioration significative des performances) l'ordre de la séquence d'origine. Dans le résultat, chaque ligne doit être unique. S'il y avait 100 lignes égales (généralement les doublons sont répartis dans le fichier et ne seront pas voisins), il ne doit en rester qu'une seule du même type.
J'ai écrit un programme en Scala (considérez-le comme Java si vous ne connaissez pas Scala) pour l'implémenter. Mais peut-être existe-t-il des outils natifs écrits en C plus rapides capables de le faire plus rapidement ?
MISE À JOUR :le nom de fichier awk '!seen[$0]++' filename La solution semblait fonctionner très bien pour moi tant que les fichiers étaient proches de 2 Go ou moins, mais maintenant que je dois nettoyer un fichier de 8 Go, cela ne fonctionne plus. Il semble prendre l'infini sur un Mac avec 4 Go de RAM et un PC Windows 7 64 bits avec 4 Go de RAM et 6 Go d'échange à court de mémoire. Et je ne me sens pas enthousiaste à l'idée de l'essayer sur Linux avec 4 Go de RAM compte tenu de cette expérience.
Réponse acceptée :
Un awk solution vue sur #bash (Freenode):
awk '!seen[$0]++' filename