書記の読書記録#867『情報理論 改訂2版』

今井 秀樹『情報理論 改訂2版』のレビュー

情報理論 改訂2版

レビュー

情報理論を一通り学習するのにまず基準となるであろう教科書。基本的な定理の証明から演習問題まで十分に揃っている。

もくじ

第1章　序　論
　1.1　情報理論とは
　　1.1.1　情報の伝達
　　1.1.2　通信システムのモデル
　　1.1.3　符号化
　　1.1.4　情報理論とシャノン
　1.2　情報理論の分野
　　1.2.1　シャノン理論・符号理論・信号理論
　　1.2.2　情報理論の応用分野
　1.3　本書の構成

第2章　情報理論の問題
　2.1　問題の提起
　2.2　問題の設定
　　2.2.1　問題の整理
　　2.2.2　情報源符号化の問題
　　2.2.3　通信路符号化の問題
　2.3　問題の発展
　　2.3.1　情報符号化と通信路符号化の統合
　　2.3.2　通信システムのモデルの多様化
　　2.3.3　情報セキュリティのための符号化
　　2.3.4　情報理論の未来

第3章　情報源と通信路のモデル
　3.1　情報源のモデル
　　3.1.1　情報源の統計的表現
　　3.1.2　無記憶定常情報源
　　3.1.3　定常情報源とエルゴ―ド情報源
　3.2　マルコフ情報源
　　3.2.1　マルコフ情報源の定義
　　3.2.2　状態の分類
　　3.2.3　極限分布と定常分布
　3.3　通信路のモデル
　　3.3.1　通信路の統計的記述
　　3.3.2　無記憶定常通信路
　　3.3.3　2元通信路の誤りによる表現
　　3.3.4　バースト誤り通信路
　3.4　モデル化
　演習問題

第4章　情報源符号化とその限界
　4.1　情報源符号化の基礎概念
　　4.1.1　情報源符号化に必要な条件
　　4.1.2　瞬時符号と符号の木
　　4.1.3　クラフトの不等式
　4.2　平均符号長の限界
　4.3　ハフマン符号
　4.4　情報源符号化定理
　　4.4.1　ブロック符号化
　　4.4.2　情報源符号化定理
　4.5　基本的な情報源のエントロピー
　　4.5.1　無記憶情報源のエントロピー
　　4.5.2　マルコフ情報源のエントロピー
　4.6　基本的情報源符号化法
　　4.6.1　ハフマンブロック符号化法
　　4.6.2　非等長情報源系列の符号化
　　4.6.3　ランレングス符号化法
　4.7　算術符号
　　4.7.1　情報源系列の累積確率
　　4.7.2　基本的算術符号化法
　　4.7.3　乗算の不要な算術符号化法
　　4.7.4　マルコフ情報源の符号化
　4.8　ユニバーサル符号化法
　　4.8.1　典型的系列の数とエントロピー
　　4.8.2　数え上げ符号化法
　　4.8.3　適応符号化法
　　4.8.4　辞書法
　演習問題

第5章　情報量のひずみ
　5.1　情報量の定義
　　5.1.1　平均符号長の下限としての情報量
　　5.1.2　直観的立場からの情報量
　5.2　エントロピーと情報量
　　5.2.1　あいまいさの尺度としてのエントロピー
　　5.2.2　エントロピーの最小値と最大値
　5.3　相互情報量
　　5.3.1　相互情報量の定義
　　5.3.2　相互情報量の性質
　5.4　ひずみが許される場合の情報源符号化
　　5.4.1　情報源符号化におけるひずみ
　　5.4.2　ひずみが許される場合の情報源符号化定理
　　5.4.3　速度・ひずみ関数
　　5.4.4　ひずみが許される場合の情報源符号化法
　演習問題

第6章　通信路符号化の限界
　6.1　通信路容量
　　6.1.1　通信路容量の定義
　　6.1.2　無記憶一様通信路の通信路容量
　　6.1.3　加法的2元通信路の通信路容量
　6.2　通信路符号化の基礎概念
　　6.2.1　通信路符号
　　6.2.2　最尤復号法
　6.3　通信路符号化定理
　6.4　通信の限界
　6.5　信頼性関数
　演習問題

第7章　通信路符号化法
　7.1　単一誤りの検出と訂正
　　7.1.1　単一パリティ検査符号
　　7.1.2　水平垂直パリティ検査符号
　　7.1.3　(7,4)ハミング符号
　　7.1.4　生成行列と検査行列
　　7.1.5　一般のハミング符号
　　7.1.6　ハミング符号の符号化と復号
　7.2　符号の誤り訂正能力
　　7.2.1　ハミング距離とハミング重み
　　7.2.2　最小距離と誤り訂正能力
　　7.2.3　限界距離復号法と最尤復号法
　　7.2.4　BSCにおける限界距離復号法の復号特性
　　7.2.5　消失のある場合の復号
　　7.2.6　バースト誤りの検出と訂正
　7.3　巡回符号
　　7.3.1　巡回符号の定義
　　7.3.2　符号器
　　7.3.3　巡回符号による誤りの検出
　　7.3.4　巡回ハミング符号
　7.4　ガロア体
　　7.4.1　素体
　　7.4.2　拡大体
　7.5　BCH符号
　　7.5.1　BCH符号の定義
　　7.5.2　BCH符号の復号
　7.6　非2元誤り訂正符号
　　7.6.1　非2元符号による誤り検出と訂正
　　7.6.2　非2元単一誤り訂正符号
　　7.6.3　非2元BCH符号とRS符号
　　7.6.4　非2元符号を用いたバースト誤りの訂正
　7.7　畳み込み符号ビタビ復号法
　7.8　繰返し復号法
　演習問題

第8章　アナログ情報源とアナログ通信路
　8.1　アナログ情報源と通信路に対する情報理論
　8.2　標本化定理
　　8.2.1　アナログ波形の周波数成分
　　8.2.2　標本化定理
　8.3　アナログ情報源とそのエントロピー
　　8.3.1　アナログ情報源
　　8.3.2　アナログ情報源のエントロピー
　　8.3.3　最大エントロピー定理
　8.4　アナログ情報源の速度・ひずみ関数
　　8.4.1　相互情報量
　　8.4.2　速度・ひずみ関数
　　8.4.3　白色ガウス情報源の速度・ひずみ関数
　8.5　アナログ情報源に対する符号化
　　8.5.1　量子化
　　8.5.2　ベクトル量子化
　　8.5.3　変換符号化
　　8.5.4　予測符号化
　8.6　アナログ通信路
　　8.6.1　アナログ通信路
　　8.6.2　通信路容量
　　8.6.3　白色ガウス通信路の通信路容量
　8.7　アナログ通信路に対する符号化
　　8.7.1　アナログ通信路のディジタル化
　　8.7.2　アナログ通信路用符号
　演習問題

参考文献
演習問題解答
索　引

本記事のもくじはこちら：

書記の読書記録まとめ｜Writer_Rinka｜note