フィルタ考察(32)

条件数の評価尺度を正則化パラメータで微分して様子を見ている。

色々式を弄っていたが、結論は出てこない。しかし、一つ重要な定理として、Ridge回帰によって、最小二乗法よりもMSE（推定量の意味での）が減少するパラメータが存在するというのを思い出した。

• Ridge regression
• Ridge regression
• Lecture notes on ridge regression

だから、減るのはおそらく間違いなくて、通常の最尤推定よりバリアンス（真のパラメータからのずれ）が小さいパラメータを選ぶ可能性がある。Ridge回帰の結果は不偏推定とならないのでバイアスが乗る。しかし、この応用では問題ない。