情報量・エントロピーはどうにか理解したのですが、情報源符号化定理の式がわかりません
平均符号長L=エントロピーs(H)という風に考えていいということですか
このサイトを参考にしています
http://sun.ac.jp/prof/hnagano/houkoku/h24information-04.html
スタック・オーバーフローはプログラマーとプログラミングに熱心な人のためのQ&Aサイトです。すぐ登録できます。
登録してこのコミュニティに参加する情報量・エントロピーはどうにか理解したのですが、情報源符号化定理の式がわかりません
平均符号長L=エントロピーs(H)という風に考えていいということですか
このサイトを参考にしています
http://sun.ac.jp/prof/hnagano/houkoku/h24information-04.html
平均符号長L=エントロピーs(H)という風に考えていいということですか
ある情報源Sに対して、“最短の”平均符号長L は エントロピーH(S)に等しい、という解釈が正確かと思います。
引用元サイトに H(S) ≦ L <H(S)+ε
(εは任意の正数)とある通り、情報源符号化定理は「どのようなアルゴリズムをもってしても、平均符号長LをエントロピーH(S)より短くすることは原理的に不可能」なことを示しています。