共役勾配法を実装して（fが二次として金谷先生の例題3.5をそのまま使用）試してはいるが、性能が良くない。具体的には普通のSAと変わらんくらい。 実装ミスを疑っている。確かめるためにJupyterで検証しているけど、無難な結果が出ていると思われる。。。
でもおかしいんだよなあ。発想自体は自然勾配と全く同じはずなのにあまり良くならないのは、やっぱり引っかかる。 もう少し追うけど、ダメそうなら切り替えて、次は準ニュートン法を試してみたい。 しっかし共役勾配法についてはもう少し粘るし、準ニュートン法との比較はちゃんとすること。投げっぱなし良くない。
- 制約なし問題の解法
- BFGS公式による準ニュートン法
- 丁寧目の説明。ん？セカント方程式は劣決定問題だと言ってる。スパースな何かを使えないか？
- システム制御最適化特論 非線形最適化
- 証明多め。丁寧な説明。
- 無制約最適化問題に対する アルゴリズムの最前線 ―非線形共役勾配法を中心に―
- 制約無し非線形最適化手法のいろいろ
- システムの最適化 － ２．非線形計画法（ NP: Nonlinear Programming ） －
- 簡単めな説明で実装しやすさがある。