• # Entropie de Shannon

    Posté par . En réponse au journal Déterminer un code à 3 chiffres en 9 questions ou moins. Évalué à 8.

    Le nombre de questions oui/non nécessaires pour déterminer une quantité aléatoire est donné par l'entropie de Shannon. Si \mu est une probabilité sur \Omega un ensemble fini alors

    Si le code a été choisi selon une loi uniforme, cela donne donc une entropie de Shannon de \log_2(1000) \approx 9.97.

    Par contre, il se peut que ce code n'ait pas été choisi selon une loi uniforme, mais nous ne sommes pas censés le savoir.