• [^] # Re: Entropie

    Posté par . En réponse au message Améliorer la définition d'une photographie.. Évalué à 4.

    Le second principe de la thermodynamique implique qu'on ne peut pas améliorer le degré d'information d'une photographie. On peut jouer sur des paramètres mais globalement, on ne peut pas «améliorer» sa définition avec un simple automate.

    Non, le second principe dit qu’un système fermé ne peut voir son entropie qu’augmenter. En principe, tu peux apporter de l’information/négentropie de "l’extérieur" avec des "informatives priors" (désolé, je connais pas le terme en français). C’est d’ailleurs ce que font les outils genre letsenhance, même s’ils ne sont pas explicitement développés autour de la notion de distribution de probabilités.

    Pour creuser un peu: dans une série temporelle, si tu as un point f(0) = 5 et f(1) = 10 le second principe de la thermodynamique te dit "que tu ne peux pas améliorer la définition à l’aide d’un simple automate", c’est à dire que 7.5, -epi et gogolplex sont équiprobables pour f(0.5). Mais si tu sais que t=0 et t=1 sont suffisamment proches et que le processus sous-jacent est "suffisament continu", alors tu peux raisonnablement interpoler f(0.5) ~ 7.5 (interpolation que tu peux affiner si tu as f(-1) et f(2)). Tu as "créé de l’information à l’aide d’un automate" (tu as transformé la probabilité de distribution de P(f(0.5)) de la distrubtion uniforme vers un dirac). Si tu regardes ce que tu as fait par cette interpolation d’un point de vue théorique, ça ne viole pas le second principe de la thermodynamique parce que tu as apporté de l’information de "l’extérieur" (ie ce n’est plus un système fermé) de par tes présupposés "t=0 et t=1 sont suffisament proches et le processus sous-jacent est suffisament continu" (= informative priors : tes priors "crééent" de l’information).

    C’est exactement la même chose pour les systèmes type letsenchance. Ils ont le droit de créer de l’information, parce qu’ils partent du présupposé correct que la distribution de probabilités sur les photographies n’est pas la distribution uniforme sur l’ensemble des images possibles (qu’il est par exemple totalement déraisonnable d’interpoler un pixel jaune fluo entre deux pixels gris-sombres adjacents d’une photographie, et qu’éliminer la possibilité "jaune fluo" réduit l’entropie/apporte de l’information).