Information Theory, Inference and Learning Algorithms

不偏推定量とクラメール・ラオの不等式

標本平均の秘密標本平均とは、データ(d_1, d_2, …, d_n)に対し、和をnで割ったものです。私たちはあまりに標本平均に慣れすぎているので、それを使うのが正しいことを疑うことはないのですが、数学的に […]

§1-2 of “Information Theory, Inference and Learning Algorithms”/David Mackay ハードディスクの限界の続きもしかして、繰り返しコーディングの欠点 […]

§1-1 of “Information Theory, Inference and Learning Algorithms”/David Mackay 通信路符号化問題この本の最初のトピックは […]

今回の目的前回作ったデータでは、Soft K-means法のほうがHard K-means法よりも劣った性能を出してしまったが、それは理論の予測どおりだった。 MacKay Information Theory, In […]

今回の目的前回書いた、2次元データに対するHard K-means法のプログラムを拡張し、Soft K-means法(exponential decay)に変形する。 Soft K-means法は定義からはHard K […]

今回の目的 Hard K-means法をすらすら書けるようになって、より理解したい。 Hard K-meansとは? K平均法教師無し機械学習法の一種です。1957年に発見されたので、ほぼ60年間も使われ続けていること […]

英語の単語を頻度順に並べると、ある法則に従うことが知られています。すごくないですか?これをZip則といいます。(べき乗則とも、ロングテールとも言います) 問題は、このZip則のエントロピーを計算することです。これはHa […]