正規分布の最尤推定 ②尤度全微分から考えてみる
尤度方程式をみると、推定したいβ、εが絡んでいるらしく、その関連を描いてみた.β、εの関連を調べ、それを外せば何かわかりそうな気がした.
■ 全微分尤度方程式
・原点を通る線形回帰に正規分布を仮定して最尤推定する.真値 ; ε 、推定する係数 ; β.
尤度関数を、偏微分して、
lnπP|ε から
σ^-2 (Σx+βΣy - (1+β^2 )Σε) 1)
lnπP|β から
σ^-2 (Σεy - βΣε^2) 2)
・しかし、これらをみればεとβは互いに関連するのではないか.
ならば、とりあえず、全微分してみる.
πlnP=ℒ、ℒ|ε = Y、ℒ|β = X、1) = A、2) = B とおくと、
Y = A + B dβ/dε
X = B + A dε/dβ
となる.もう少し変形してみると、
Y = A X / ( X- B )
dβ/dε = Y / X 3)
なる関係がある.3)を適当な実データから計算、図示する.
dβ/dε値
前記事の図で示した関係を変形したものとなっている.大いに遠回りした調べ.
ℒが最大な位置は、偏微分で0かごく小さい*が、微分;3)は不定となる.
* なぜか0とならない
ℒ|β= -15桁 微
ℒ|ε= 0
dε/dβと、ひっくり返しておく.
式にすると、
となった.
■ βと平均εの関連
全微分によって、3)のなかで1点が不定となっているが、それ以外の場所は、βとεの関連が表れる.なにかありそうなのでこれを少し進めたい.
まず、βと平均εの関連をイメージする.データから計算、図示する.
εの真値は、
とおいて、gごとに計算、平均値を得た.
ここでは、εをβでみることにすると、
曲線の関係
εをβの関数とした前提なのだから当然といえば当然.だが、関連が具体化できたことで、これをすこし外せば、自由な影響が調べられそうだ.
ここまで・・
[尤度方程式が、ぴたり0にならない]
[ε平均からℒの変化を計算できて、関係がみえる]
[εi個々からℒの変化を計算できるのかは持ち越し]
[βとεが絡む 関係式をあえて外せば何かみえそう]