マガジンのカバー画像

情報理論

4
本
運営しているクリエイター
アリッシア
アリッシア

アリッシア

６．通信路符号化・線形符号

ハミング距離ハミング距離は、二つの系列の違いを数値で表す手段。
これを代数的に捉える。

長さ$${n}$$の二つの系列
$${a=\{a_1,a_2 \cdot \cdot \cdot ,a_n\}}$$
$${b=\{b_1,b_2 \cdot \cdot \cdot ,b_n\}}$$
について考える。

$$a,b$$に互いに対応する位置にあるシンボルで異なるものがハミング距離である。

もっとみる
アリッシア

アリッシア

５．通信路

相互情報量相互情報量$${I(X;Y)}$$は、X とYの「依存度」を表す指標である。
$${I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y)}$$

関係性を図示すると、以下のようになる。

$${I(X;Y)=H(Y)-H(Y|X)}$$から、
$${H(Y)=H(Y|X)}$$で$${I(X;Y)=0 (\min)}$$
$${H(Y|X)=0}

もっとみる
アリッシア

アリッシア

４．情報源の符号化

符号化あるアルファベットに属するシンボル系列から別のアルファベットに属するシンボル系列への写像を符号、変換操作を符号化という。

また、符号化により得られる系列を符号語という。

情報工学では、符号アルファベット$${X}$$にて、$${X}$$に属する符号シンボル$${\{0,1\}}$$の2元符号を扱う。

平均符号長情報を符号化して、伝送する。
この際に、符号シンボルの総数を減らしたい。

もっとみる
アリッシア

アリッシア

３．マルコフ情報源

生起するシンボル相互間に依存性がある情報源は、マルコフ情報源。

直近$${m}$$個のシンボルに依存し、
次のシンボルが生起する情報源を$${m}$$重マルコフ情報源という。
特に$${m=1}$$のときを単純マルコフ情報源と呼ぶ。

定常分布マルコフ情報源は、次の方程式を満たす状態分布$${\pi}$$が存在し、
平衡方程式と呼ぶ。

$${\bold\pi \bold P=\pi}$$ （

もっとみる