書記の読書記録#869『情報理論のエッセンス(改訂2版)』

平田 廣則『情報理論のエッセンス(改訂2版)』のレビュー

情報理論のエッセンス(改訂2版)

レビュー

情報理論のより平易な教科書であり，まずはここから始めるのが良いかもしれない。

もくじ

1．情報理論とは？
1.1　情報理論の生い立ち
1.2　情報理論のエッセンス

2．情報のとらえ方と情報量
2.1　情報の数量化－自己情報量－
2.2　平均情報量（エントロピー）
2.3　自己情報量と平均情報量の関係
演習問題

3．平均情報量（エントロピー）の性質
3.1　エントロピー関数
3.2　エントロビーの性質
3.3　条件付き平均情報量（条件付きエントロビー）
3.4　種々のエントロピーの関係
3.5　相互情報量
演習問題

4．情報源
4.1　情報源モデル
4.2　情報源の種類
4.3　無記憶情報源（独立情報源）モデル
4.4　通報（メッセージ）
4.5　マルコフ情報源
4.6　マルコフ連鎖（マルコフチェーン）
4.7　単純マルコフ情報源モデル
4.8　シャノン線図
4.9　正規マルコフ情報源
4.10 エルゴードマルコフ情報源
演習問題

5．情報源符号化
5.1　符号化
5.2　符号のクラス
5.3　瞬時符号
5.4　クラフトの不等式－符号語長への制約－
5.5　拡大情報源
5.6　情報源符号化定理－平均符号長の下限－
5.7　符号の効率と冗長度
5.8　コンパクト符号
演習問題

6．具体的符号化法
6.1　シャノン ・ファノ符号
6.2　ハフマン符号
演習問題

7．通信路と相互情報量
7.1　通信路モデル
7.2　通信路での確率関係
7.3　通信路での平均情報量（エントロピー）の関係
7.4　相互情報量－通信路により伝送される情報量－
7.5　相互情報量の確率表現
7.6　相互情報量の性質
7.7　種々の通信路
7.8　通信路容量
演習問題

8．通信路符号化
8.1　シャノン・ファノの通信システムのモデル
8.2　通信路符号化とは?
8.3　通信路符号化定理
8.4　情報源符号化定理と同値な雑音のない通信路の符号化定理
演習問題

9．誤り検出と訂正
9.1　冗長性
9.2　パリティ検査（パリティチェック）
9.3　ハミング距離
9.4　誤り検出と訂正の原理
演習問題

10.線形符号
10.1 組織符号
10.2 2元（n, k）符号
10.3 生成行列G
10.4 検査行列H
10.5 シンドロームsと誤り検出・訂正
10.6 線形符号Cの最小ハミング距離dmin（C）
演習問題

11.巡回符号
11.1 巡回符号とは？
11.2 符号多項式
11.3 符号多項式の性質
11.4 生成多項式G（x）
11.5 検査多項式H（x）
11.6 シンドローム多項式S（x）
11.7 生成行列G（c）と検査行列H（c）
11.8 巡回符号の生成行列と検査行列の構成例
演習問題

本記事のもくじはこちら：

書記の読書記録まとめ｜Writer_Rinka｜note