Back

最尤法の結果と最小二乗法の結果は同じになりうる

課題

以下の式の時の α、β を求める。なお、y と x は i=1,,n であり、u は誤差を表している。u は平均 0 と分散 σ 二乗の正規分布に従っている。

$$ y_i = α + βx_i + u_i $$

最小二乗法

観測値と予測値の差の二乗距離の最小値を求めることで、最適な α と β を算出する方法である。なぜ二乗距離かというと、二乗しないと、差がマイナスになったりして、扱いにくいからである。分散の算出の仕方と同じ原理である。

$$ y_i = α + βx_i + u_i $$

まず、誤差を左辺とする

$$ u_i = y_i - α - βx_i $$

二乗する。

$$ u_i^2 = (y_i - α - βx_i)^2 $$

この時の、最小値を求めればいいので、偏微分する。

よって、

$$ α = y_i + βx_i $$

$$ β = y_i - α $$

最尤法

尤もらしい値の時の α と β を見つける方法である。主に、標準正規分布などを利用する。

$$ y_i = α + βx_i + u $$ uが、正規分布に従っているので、いかに表せる。 $$ f(x)=\dfrac{1}{\sqrt{2\pi\sigma}}\exp[-\dfrac{(y_i - α - βx_i)^2}{2\sigma^ 2}] $$

尤度関数と見ると、

$$ Log(θ)= ln*\exp[-\dfrac{(y_i - α - βx_i)^2}{2\sigma^ 2}] - ln*\dfrac{1}{2π\sigma^ 2} $$

変換する $$ Log(θ)= -\dfrac{(y_i - α - βx_i)^2}{2\sigma^ 2} - ln*\dfrac{1}{2π\sigma^ 2} $$

この時の最も頻度が高い場所、つまり、最大値の時のαとβを見ればいいので、以下を解けば良い

$$ Log(θ)= -\dfrac{1}{2\sigma^2}{((y_i - α - βx_i)^2) + \dfrac{ln}{π}} $$

$$ y_i - α - βx_i = 0 $$

よって

$$ α = y_i + βx_i $$

$$ β = y_i - α $$

まとめ

以上で見てきたように、正規分布に誤差が従っていると、最小二乗法と、最尤法の推定量は同じ値になりうる。ただ、どのような条件でこのようなことになるかまではまだ理解できていない。

参考リンク

Licensed under CC BY-NC-SA 4.0
comments powered by Disqus
Built with Hugo
Theme Stack designed by Jimmy