共役勾配法をもうちょっと見てから、準ニュートン法を試そうかというのが今日の目標。
共役勾配法の性能をまとめると、
- SAより同程度かそれ以下。
- 自己相関行列は逐次的に求めていった方がほんのわずかに性能が良い。
で、なんで？というところで答えが出ない。 勾配プロットすりゃいいんじゃねと思うんだが、共役勾配は明示的に前ステップの情報を使うから、静的な勾配を見ることができない。
準ニュートン法を試す。勾配をどれくらい進めるかを決める直線探索をいかに上手くやるかがポイントだった。 いつもの事後残差最小化で行ったら実に上手く行った。（直線探索を上手くやらず固定ステップサイズにすると性能悪化） じゃあ共役勾配も事後残差最小基準でステップサイズ設定してやる→性能向上しない。なぜだ。
今の所、準ニュートン法の結果は不安定に見える。異常に早いときは2~3イテレーションで極値近くに達する。