■　回帰線と線長の二乗和
　観測点とその回帰線を考える.観測obs、回帰線；傾きβ、角度φとする.
　obsからｙ軸方向の線長を１とすると、回帰線への垂線長は、 cosφ となる.
　　

                                     

　最小二乗和をｓ１とすると、
　　　　　　　　　  ｓ１＝Σ（yi-y）^2 　　　　　
　同一の回帰線への垂線二乗和をｓ２とすると、
　　　　　 　　　　 ｓ２ = Σ｛（yi-y）cosφ ｝^2　・・・式１
　　　　　　　　　　　   =  s1cos^2φ
　となる.

　　　　 　

　なのだから、　　

　　　　　　　　

　と表せる.
　・ｓ１はβの二次関数、ｓ２はそれをβの二次関数で割った形.
　また、

　　　　　

　とも表せる.　
　0 <｜β｜である限り、常にs2 < s1である.
　・垂線和は、ｙ和より常に小さく、よりらしく思える. 　

　　　　　　

■　推定
・具体的に
　手元データ；yは率からlogit、ｘは因子曝露（1つ.適当に単純したもの）から得た数値、
　　　ｘ分散　　　5.67　
　　　ｘｙ共分散　1.59
　　　ｙ分散　　　0.80　　 程　
　を使用して　式１，２から　二乗和を調べ、βをみる.
　

　　　　　

　　　　　　　　βによる２つの二乗和

　　　　　　　　　　　　　　赤　ｍｓｑによる　β推定値は、0.274、平方和　0.355
　　　　　　　　　　　　　　青　ｍｌｅによる　　〃　　　  0.297、　〃　    0.327
　同一データから、２つの二乗和を調べると、異なる β、回帰線が計算される.
　　

　　　　　　　　　　

垂線長二乗和からβを推定することは、最尤推定となるとかなんとか.しかも主成分分析かいっ.
　ｍｌｅの推定値は比較的大きく、二乗和は小さい.　　

　　　　　　　　

　　　　　　　　　
　mleとmsqからなる平面上で、
　　βの動く軌道は、右上から左下へ、そしてやや右　上方に向かう.
　　それらの微妙な推定値の違いがみえる.
　　算術平均による点は、はるか右上にある.
　２つの最適値のあいだが気にかかる.

　
・適当な曝露ｘと対の観察結果ｙがあれば、msq、mleが描けて、それぞれの最小値が推定できる.
・msqとmleの最適なβとそれを与える最小値はそれぞれ異なる.