🎵ASCII文字のエントロピー計算

ASCII文字は7ビットですね？

はい、ASCII文字は7ビットで構成されています。これにより、128個の異なる文字を表現することができます。これには英字の大文字と小文字、数字、句読点、そしていくつかの制御文字が含まれます。

情報のエントロピーとしては、どんな計算になりますか？

情報のエントロピーは、情報の不確実性またはランダム性の尺度です。あるイベントセットのエントロピーを計算するには、各イベントが発生する確率を使用します。エントロピー H は、次の式で定義されます：

この式を計算して、ASCII文字セットのエントロピーを求めてみましょう。

ASCII文字セットのエントロピーは7ビットです。これは、ASCIIが7ビットで構成されており、各ビットが等しい確率で0または1を取る（各文字が等しい確率で選ばれる）場合の不確実性の量を表しています

import math

# 各文字の確率
p = 1/128

# エントロピーの計算
H = -sum([p * math.log2(p) for _ in range(128)])
H