最尤推定法の分かる部分までの備忘録

文系卒三流プログラマにとって機械学習の数式は相変わらず極悪だ…。

とりあえず、今回は最尤推定法の式変形(P.94)について備忘録。

$\Pi^N_{n=1}\frac{1}{\sqrt{2\pi\sigma^2}}\mathrm{e}^-\frac{1}{2\sigma^2}\{t_n-f(x_n)\}$

が

$(\frac{1}{2\pi\sigma^2})^\frac{N}{2}\exp\{-\frac{1}{2\sigma^2}\sum^N_{n=1}(t_n-f(x_n)\}^2$

になるのは、恐らく

・前半部分は分母の $\sqrt{2\pi\sigma^2}$ からルートを外すために $\frac{N}{2}$ にしている
・後半部分のシグマは、 $a^n \times a^m = a^{n+m}$ なので、 $\Pi$ が $\sum$ に変換出来る
・更に、 $\sum^N_{n=1}ax_n$ は $a\sum^N_{n=1}x_n$ に変換出来るので後半部分のシグマの式に変換出来る

という事。

次に、

$P(\beta,w)=(\frac{\beta}{2\pi})^\frac{N}{2}e^{-{\beta}E_D(w)}$

が、両辺に対数を取ると

$lnP(\beta,w)=\frac{N}{2}ln\beta-\frac{N}{2}ln2\pi-{\beta}E_D(w)$

になるのは、恐らく

・ $lnAB$ は $lnA + lnB$ に変換出来る…1
・ $lnA^x$ は $xlnA$ に変換出来る…2
・1の方法でまず前半(括弧の部分)と後半(自然対数の部分)を足し算に分ける
・次に2の方法で前半後半をそれぞれ変形する

という事。

最後に3.18の $\frac{1}{\beta}=\frac{2E_D}{N}$ は対数の微分を使えば後は普通に移項して変形するだけ。

うーむ、難しいぜ。