01
Qu’est-ce que l’entropie ?
La notion vient de la physique, où elle caractérise la dispersion de l’énergie et le degré de désorganisation d’un système. Une vapeur concentrée dans une turbine peut produire un travail utile : son entropie est faible. La même quantité d’eau évaporée et dispersée au-dessus d’un lac correspond à un état d’entropie plus élevée.
02
L’entropie de Shannon
En 1948, Claude Shannon adapte cette idée à la théorie de l’information. Pour une distribution, chaque catégorie possède une probabilité pᵢ, obtenue en divisant sa fréquence par le nombre total d’occurrences.
La quantité −pᵢ log₂(pᵢ) est la contribution d’une catégorie. Les contributions sont additionnées. Une distribution uniforme est moins prévisible et possède davantage d’entropie qu’une distribution dominée par quelques catégories.
03
Entropie maximale et coefficient
E est le nombre de catégories dont la fréquence est strictement positive. Lorsque Hmax > 0, le coefficient est compris entre 0 et 1.
04
Comparer deux distributions
Le test t de Hutcheson permet d’évaluer si la différence entre deux entropies de Shannon est statistiquement significative. L’outil reprend la variante de calcul présente dans le classeur source, puis calcule une valeur p bilatérale.
05
Références
- Hutcheson, K. (1970). A test for comparing diversities based on the Shannon formula. Journal of Theoretical Biology, 29(1), 151–154. DOI 10.1016/0022-5193(70)90124-4
- Shannon, C. E. (1948). A Mathematical Theory of Communication. The Bell System Technical Journal, 27(3), 379–423.