ShannonInfoValue

シャノンの情報量 †

http://www.mi.s.osakafu-u.ac.jp/lec/ssk/index.html

以下、引用。

シャノンは情報量を確率の関数と捉えました．すなわち，生起する確率が小さい事柄(事象)が起こったときに，それを知ったときに得られる情報は大きいと考えました．

例えば，犬が人を噛んだということを聞いたときよりも，人が犬を噛んだという事件を聞いたときの方がびっくりする度合い（すなわち得られる情報）は大きいですね．生起する確率が小さいものほど，それを知ったときに得られる情報は大きいはずです．そこで，事象が生起する確率をｐとしたときその事を知ったときに得られる情報量Ｉを次式のように定義しました．

　　　　　　　　　　　Ｉ=−log2p

このように情報量を定義すれば，我々の持っている“情報”の概念と矛盾せず，数学的な取り扱いが便利になります．（情報量の定義式によれば，確率ｐが大きいほど情報量Ｉは小さくなりますね．すなわち，びっくりする度合いを表すことになり，直感的な情報の概念と矛盾しません．また，対数関数には加法性がありますので，理論の展開が簡単になります．）

対数関数の底を２にしたのは，確率ｐが1/2のときに情報量が１になるように設定するためです．そして情報量の単位をビット（binary digitのbinaryのbとdigitのitを合わせたもの）に定めました．

関連 †

• 情報?
• 通信?
• 確率?
• 情報理論?
• クロード・シャノン?