GNU/Linux >> Tutoriels Linux >  >> Linux

Quelle méthode d'archivage est la meilleure pour compresser des fichiers texte sous Linux ?

La dernière mise à jour de maximumcompression.com date de juin 2011 (réponse mise à jour en octobre 2015)
Par conséquent, ce site Web ne mentionne pas
l'actuel compresseur de texte champion dans le monde :

      cmix

Compétitions/Benchmarks :

  • frwiki6
    Compression de 18,2 % du fichier texte de 1 Mo enwik6
  • Calgary
    Compression à 17,6 % des 14 fichiers du corpus de Calgary (fichier tar de 3 Go)
  • Prix Hutter
    15,7 % de compression du fichier texte de 100 Mo enwik8
    (mais cmix n'est pas le gagnant car nécessite trop de RAM, plus de 20 Go)
  • Référence de compression open source de Silésie
    Compression de 15,7 % du corpus Silesia de 202 Mo
  • Référence de compression de texte volumineux
    12,4 % de compression du fichier texte de 1 Go enwik9

Détails :
Byron Knoll développe activement cmix en tant que logiciel libre (GPL) depuis 2013 basé sur le livre Data Compression Explained de Matt Mahoney. Matt Mahoney maintient également certains des benchmarks ci-dessus et propose ZPAQ (WP), un archiveur incrémentiel en ligne de commande.

Si vous préférez un outil plus standard (nécessitant moins de RAM) je vous recommande :

      lrzip

lrzip est une évolution de rzip par Con Kolivas.
lrzip représente deux noms :ZIP longue portée et Lzma RZIP .
lrzip est souvent meilleur que xz (un autre outil de compression populaire).
Alexander Riccio recommande également lrzip .

Mon préféré est :

      zpaq

L'"expert de l'archivage" , Matt Mahoney, a travaillé intensivement sur les algorithmes PAQ pendant dix ans et fournit le meilleur compromis entre les ressources CPU/mémoire et le niveau de compression.

Cependant, le dernier zpaq la version n'est pas souvent empaquetée/disponible sur les distributions récentes :-(
Je le compile toujours depuis les sources quand j'ai une nouvelle machine et j'ai besoin d'un très bon compresseur :https://github.com/zpaq/zpaq

clone https://github.com/zpaq/zpaq
cd zpaq
g++ -O3 -march=native -Dunix zpaq.cpp libzpaq.cpp -pthread -o zpaq

Normalement, bz2 a un meilleur taux de compression, combiné à de meilleures fonctionnalités de récupération.

OTOH, gz est plus rapide.

On dit que xz est encore meilleur que bz2, mais je ne connais pas le comportement temporel.


Peut-être pourriez-vous jeter un coup d'œil à ces tests, en particulier la partie testant la compression des fichiers journaux.


Linux
  1. Utilisez anacron pour une meilleure crontab

  2. Comment joindre deux fichiers texte sous Linux

  3. Guide complet d'utilisation d'AsciiDoc sous Linux

  4. Linux vs Windows :quel système d'exploitation est le meilleur pour les jeux sur PC

  5. Quel logiciel de compression de fichiers pour Linux offre la plus grande réduction de taille ? ?

Compresser et archiver des fichiers et des répertoires

Économisez de l'espace en compressant les fichiers et les dossiers sous Linux

Rechercher du texte dans des fichiers sous Linux à l'aide de grep

Dropbox configuré pour un serveur cloud Linux

Ubuntu vs Arch :quelle distribution Linux est la meilleure ?

Matériel de terminal texte (pour Linux)