Corrigez-moi si je dis n'importe quoi, mais est-ce que ces fantastiques taux de compression ne sont pas un peu... artificiels ?
Je veux dire, on a un énorme dictionnaire de départ (le LLM), adapté en plus à la langue du texte, et, Ô surprise, on arrive (en gros) à utiliser des "index" dans ce tableau pour exprimer ce qu'il y a dans le texte de départ.
Si, énorme coup de bol, un paragraphe entier est dans le dictionnaire, jackpot ! :)
Possible qu'un xz doté d'un dictionnaire préexistant énorme ferait des miracles aussi...
# Ai-je bien compris
Posté par Christophe . En réponse au lien Fabrice Bellard : Text Compression using Large Language Models. Évalué à 8.
Corrigez-moi si je dis n'importe quoi, mais est-ce que ces fantastiques taux de compression ne sont pas un peu... artificiels ?
Je veux dire, on a un énorme dictionnaire de départ (le LLM), adapté en plus à la langue du texte, et, Ô surprise, on arrive (en gros) à utiliser des "index" dans ce tableau pour exprimer ce qu'il y a dans le texte de départ.
Si, énorme coup de bol, un paragraphe entier est dans le dictionnaire, jackpot ! :)
Possible qu'un xz doté d'un dictionnaire préexistant énorme ferait des miracles aussi...
J'ai bon ?