準ニュートン法をもうちょっと試す。 BFGS法とDFP法をやってるけど、今の所はBFGS法が良さそう。
- 準ニュートン法(wikipedia) が悔しいけどまとまってる。
準ニュートン法は、直線探索を事後残差最小化に取る限り、中々安定した性能を出す。 いや、NLMSとほぼ同じ性能だった。事後残差最小化が強すぎて、勾配がそれに引っ張られているものと想像。
NNGSA < NGSA < 準ニュートン法 < SA < 共役勾配法といった感じ。 共役勾配法が弱すぎんのがすごい気になってる。曲率がRで明示的にわかってんだから、もっと早いと思うんだけどなあ。
そしてちょっと前から気付いてたけど、準ニュートン法はRを一切使っていない。直前の勾配の値を上手く組み合わせて収束を加速させている。 これはモーメンタムに似たものであろう（ちゃんと追いきれてない…）。
もう一度共役勾配法を整理したい。金谷先生の本でわかった気になってるけど、webの情報と食い違ってる部分がある。。。