wobei pj die Wahrscheinlichkeit ist, mit der das j-te Symbol zj des Alphabet Z im Informationtext I auftritt. Die Entropie erhält die Pseudoeinheit bit. H multipliziert mit der Anzahl der Zeichen im Informationstext ergibt dann die mindestens notwendige Anzahl von Bits, die zur Darstellung der Information notwendig sind.
