On fait souvent le lien entre compressibilité et entropie au sens de Shannon. Y aurait-il une raison sous-jacente à ce que ces deux méthodes de compression atteignent des efficacités comparables ? Serait-ce trop capillotracté d'imaginer en déduire que les modèles de langage sont des machines à produire du texte aussi dénué d'information (sans entropie) que possible ?
[^] # Re: Ai-je bien compris
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . En réponse au lien Fabrice Bellard : Text Compression using Large Language Models. Évalué à 2.
On fait souvent le lien entre compressibilité et entropie au sens de Shannon. Y aurait-il une raison sous-jacente à ce que ces deux méthodes de compression atteignent des efficacités comparables ? Serait-ce trop capillotracté d'imaginer en déduire que les modèles de langage sont des machines à produire du texte aussi dénué d'information (sans entropie) que possible ?
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace