デジタルコミュニケーションさん

はじめまして。よろしくお願いします。

デジタルコミュニケーションさん

はじめまして。よろしくお願いします。

マガジン

記事一覧

固定された記事

デジタルコミュニケーションにようこそ

はじめまして。 デジタルコミュニケーションの技術解説をしていきます。 どうぞ、よろしくお願いします。

第20回 誤り訂正符号の基礎

阿坂先生 今回から誤り訂正符号を勉強していこう。シャノン理論が確率・統計を基礎としていたのに対し、誤り訂正符号の基礎の符号理論は代数学が基盤となっていて、異なっ…

第19回 通信路符号化定理

阿坂先生 前回は信号の誤り率が0.1の場合の通信路容量Cは0.531であることを説明した。これは1000個の1と0を伝送したら531ビット分の情報をほぼ誤りなしで伝送できるとい…

第18回 通信路容量

阿坂先生 通信路符号化定理を導き出すために雑音がある通信路では伝送した情報の量が受信側でどのくらい減ってしまうのか求めてみよう。 麦わら君 それって、通信路で発生…

第17回 通信路と通信路符号化の基礎

阿坂先生 これまで勉強してきた情報源符号化による情報の圧縮は「雑音のない通信路」を想定しておった。 麦わら君 雑音のない通信路ってなんですか?通信路とは? 桂香助…

第16回 情報源符号化 その5(ハフマン符号)

阿坂先生 前回作成した符号は実は無駄がある符号なのじゃ。まず、それを確認してから無駄のないハフマン符号を見て行こう。 桂香助教 まず前回作った符号は以下だったわね…

第15回 情報源符号化 その4(符号化の方法)

阿坂先生 今回はできるだけ平均符号語長を短くする符号化の方法を考えていくぞぃ。平均符号語長Lは、各符号語長をl(i)として、その符号語の発生確率をp(i)としたとき以下の…

第14回 情報源符号化 その3(符号の木)

阿坂先生 今回は符号の木を勉強しよう。 桂香助教 前回勉強した語頭条件はややこしかったでしょ?符号の木を使えば符号が語頭条件を満たしているのかすぐにわかるのよ。 …

第13回 情報源符号化 その2(瞬時符号)

阿坂先生 今回は情報源符号化の符号語の作り方を見ていくのじゃが、まず符号語の分類を勉強していこう。 桂香助教 この分類を分かるとどんな符号が良い符号なのか理解でき…

第12回 情報源符号化 その1

阿坂先生 今回は情報源符号化の第1回目じゃ。情報源符号化の勉強では、より多くの記号をできるだけ少ない0と1のビット列で(送る)保存する!という課題を取り扱うぞい…

第11回 マルコフ情報源

阿坂先生 今回はマルコフ情報源をもう少し深く勉強していこう。マルコフ情報源からエントロピーを求めるのが今回の目標じゃ。 桂香助教 マルコフ情報源では状態遷移図(シ…

第10回 情報源

阿坂先生 これまでは一回しか起こらないことの情報の量とかエントロピーを求めてきたが連続して発生する事象の情報を考えてみる。次々に情報が出てくるものを情報源という…

第9回 相対エントロピー

工事中

情報理論(第8回 条件付きエントロピー、結合エントロピー)

阿坂先生 前回は確率の勉強として条件付き確率や結合確率を勉強した。これで準備が揃ったので条件付きエントロピー及び結合エントロピーを求めてみよう。 桂香助教 まず、…

情報理論(第7回 結合確率、条件付き確率、周辺確率、ベイズのルール その2)

阿坂先生 前回に引き続き結合確率、条件付き確率、周辺確率、ベイズのルールを勉強しよう。今回は具体的な数字を入れて考えてみよう。 桂香助教 お題は天気の例にするわね…

情報理論(第6回 結合確率、条件付き確率、周辺確率、ベイズのルール)

阿坂先生 すでに情報の量やエントロピーを計算するために確率を使ってきたが、確率についてもう少し勉強しておこう。 桂香助教 具体的には結合確率、条件付き確率、周辺確…

デジタルコミュニケーションにようこそ

はじめまして。

デジタルコミュニケーションの技術解説をしていきます。

どうぞ、よろしくお願いします。

第20回 誤り訂正符号の基礎

第20回 誤り訂正符号の基礎

阿坂先生
今回から誤り訂正符号を勉強していこう。シャノン理論が確率・統計を基礎としていたのに対し、誤り訂正符号の基礎の符号理論は代数学が基盤となっていて、異なった理論体系を持っているのじゃ。

桂香助教
まずは誤り検出から勉強していくわ。その後に誤り訂正について解説するわ。

麦わら君
誤り検出と誤り訂正はどう違うのですか?

阿坂先生
誤り検出は送信した信号に誤りが発生しているかどうかが分かるこ

もっとみる

第19回 通信路符号化定理

阿坂先生
前回は信号の誤り率が0.1の場合の通信路容量Cは0.531であることを説明した。これは1000個の1と0を伝送したら531ビット分の情報をほぼ誤りなしで伝送できるという意味じゃった。

桂香助教
伝送信号の長さnと伝送ビットの数kとの比Rを符号化率と呼ぶわ。R=k/nよ。上記ではR=531/1000=0.531。ここでは通信路容量Cと同じに設定したのよ。つまり、R=Cよ。

阿坂先生

もっとみる
第18回 通信路容量

第18回 通信路容量

阿坂先生
通信路符号化定理を導き出すために雑音がある通信路では伝送した情報の量が受信側でどのくらい減ってしまうのか求めてみよう。

麦わら君
それって、通信路で発生する誤りの発生確率で計算できるんじゃないですか?誤る確率が0.1だったら、1000ビット送ったら100ビット間違うので伝送できる情報の量は900ビットじゃないですか?

桂香助教
ぶー。違うのよ。なぜ違うのかは後で説明するけれど、伝送で

もっとみる
第17回 通信路と通信路符号化の基礎

第17回 通信路と通信路符号化の基礎

阿坂先生
これまで勉強してきた情報源符号化による情報の圧縮は「雑音のない通信路」を想定しておった。

麦わら君
雑音のない通信路ってなんですか?通信路とは?

桂香助教
下図のようにあるパソコンから違うパソコンへ信号を送るときLANケーブルが通信路になるわよ。無線LANだったら空気が伝搬路に相当するわ。

でも、この途中の通信経路に流れる電流や電波に加わる雑音は基本的には避けれれないものなのよ。雑

もっとみる
第16回 情報源符号化 その5(ハフマン符号)

第16回 情報源符号化 その5(ハフマン符号)

阿坂先生
前回作成した符号は実は無駄がある符号なのじゃ。まず、それを確認してから無駄のないハフマン符号を見て行こう。

桂香助教
まず前回作った符号は以下だったわね。

この符号の符号の木を書いてみて!

麦わら君
書いてみました。こんな感じですか?確かに無駄に長いところがある気がします。

桂香助教
そうよ。青色で示した枝はカットしても語頭条件を守られた符号になるわ。

青の枝を取り除くと赤の符

もっとみる
第15回 情報源符号化 その4(符号化の方法)

第15回 情報源符号化 その4(符号化の方法)

阿坂先生
今回はできるだけ平均符号語長を短くする符号化の方法を考えていくぞぃ。平均符号語長Lは、各符号語長をl(i)として、その符号語の発生確率をp(i)としたとき以下のように計算できる。αは符号語の総数じゃ。

桂香助教
これから作る符号語は語頭条件を満たす、つまり、瞬時符号であって欲しいので、クラフトの不等式を満たすことを条件として進めていくわ。クラフトの不等式を満たした上でLを短くするのが目

もっとみる
第14回 情報源符号化 その3(符号の木)

第14回 情報源符号化 その3(符号の木)

阿坂先生
今回は符号の木を勉強しよう。

桂香助教
前回勉強した語頭条件はややこしかったでしょ?符号の木を使えば符号が語頭条件を満たしているのかすぐにわかるのよ。

麦わら君
語頭条件とは長い符号語の先頭が短い符号語になっていないって条件でしたね。例えば、1101と11という符号語があって、符号語1101の先頭11がもう1つの符号11と同じなので語頭条件を満たさないってやつでした。

阿坂先生

もっとみる

第13回 情報源符号化 その2(瞬時符号)

阿坂先生
今回は情報源符号化の符号語の作り方を見ていくのじゃが、まず符号語の分類を勉強していこう。

桂香助教
この分類を分かるとどんな符号が良い符号なのか理解できるようになるわ。符号の作り方までちょっと説明が続くけど我慢してね。判りやすく説明していくから。まずは、符号語の分類を勉強していくね。

麦わら君
ところで符号ってなんでしょうか?

阿坂先生
符号とは、ある記号列Xを別の記号列Yに対応づ

もっとみる

第12回 情報源符号化 その1

阿坂先生
今回は情報源符号化の第1回目じゃ。情報源符号化の勉強では、より多くの記号をできるだけ少ない0と1のビット列で(送る)保存する!という課題を取り扱うぞい。

桂香助教
たとえばね、「AAAAAAAAAAAAA・・・・AAAAAAA」といった記号Aが1000個続く情報をハードディスクに保存したり、インターネットで誰かに送ったりするときに「Aを保存し(送り)続ける」よりも、例えば「Aが1000

もっとみる
第11回 マルコフ情報源

第11回 マルコフ情報源

阿坂先生
今回はマルコフ情報源をもう少し深く勉強していこう。マルコフ情報源からエントロピーを求めるのが今回の目標じゃ。

桂香助教
マルコフ情報源では状態遷移図(シャノン遷移図)を使うことで視覚的に記憶のある情報源を理解できるわ。今回は2重マルコフ情報源を例に状態遷移図を考えてみるわね。

麦わら君
2重マルコフ情報源は、これから出る情報は2つ前までの情報の影響を受ける情報源でしたね。2つ前よりさ

もっとみる
第10回 情報源

第10回 情報源

阿坂先生
これまでは一回しか起こらないことの情報の量とかエントロピーを求めてきたが連続して発生する事象の情報を考えてみる。次々に情報が出てくるものを情報源というぞ。

麦わら君
それってどうゆうことですか?

桂香助教
例えばコイン投げを10回やるとかよ。裏表裏裏・・・というふうにどんどんと結果が出てくるものを考えるの。

麦わら君
回数を重ねることに意味があるんですか?表と裏の出る確率は1/2と

もっとみる

情報理論(第8回 条件付きエントロピー、結合エントロピー)

阿坂先生
前回は確率の勉強として条件付き確率や結合確率を勉強した。これで準備が揃ったので条件付きエントロピー及び結合エントロピーを求めてみよう。

桂香助教
まず、復習として情報の量はどう求めるか覚えている?忘れた人は第3回を見てね。

麦わら君
はい。何か起こる確率をPとしたときの情報の量は-log(P)となります。

阿坂先生
そうじゃったな。ではエントロピーHのほうはどうじゃ?

麦わら君

もっとみる
情報理論(第7回 結合確率、条件付き確率、周辺確率、ベイズのルール その2)

情報理論(第7回 結合確率、条件付き確率、周辺確率、ベイズのルール その2)

阿坂先生
前回に引き続き結合確率、条件付き確率、周辺確率、ベイズのルールを勉強しよう。今回は具体的な数字を入れて考えてみよう。

桂香助教
お題は天気の例にするわね。結合確率を以下の例とするわ。結合確率P(x,y)とはxであり、かつ、yである確率だったわね。

P(東晴,横晴)=0.5
P(東晴,横雨)=0.05
P(東雨,横晴)=0.15
P(東雨,横雨)=0.3

表で書くとこんな感じね。

もっとみる
情報理論(第6回 結合確率、条件付き確率、周辺確率、ベイズのルール)

情報理論(第6回 結合確率、条件付き確率、周辺確率、ベイズのルール)

阿坂先生
すでに情報の量やエントロピーを計算するために確率を使ってきたが、確率についてもう少し勉強しておこう。

桂香助教
具体的には結合確率、条件付き確率、周辺確率、ベイズのルールを勉強するわ。確率の基礎知識は知っている人も多いと思うので、知っている人はここは飛ばしても構わないわ。知らない人や知識が怪しい人は勉強していってね。

麦わら君
ほとんど、忘れたのでイチから勉強したいです。

桂香助教

もっとみる