Entropi (informationsteori)

Svenska Wikipedia – den fria encyklopedin

Entropi är ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som: