\begin{equation*}
\newcommand\ve[1]{\boldsymbol{#1}}
\newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]}
\end{equation*}
木曜日が潰れているのあんまり良くない。平日あまり進捗が出ていないのは健全とは言えない。総受けでやりすぎている可能性を疑い、タスクを減らすべきかと感じている。
今日は共役勾配法ベース手法の性能観察を行う。 土曜日までに各手法の状態をまとめて、来週月・火は報告内容をまとめていくことに集中する。
基本的なところでは12/8に書いた内容と同じ。
- i.i.d.でSharman-Morrison式とほぼ同等の性能（少し悪い）
- 相関付き雑音でi.i.dと同じステップサイズ・忘却係数に設定していると爆裂に性能が悪くなる。（1000サンプル以内で全く定常状態に入らない）
- ステップサイズを大きくとってもあまり良くならない。大きくとると開始直後悪化。
- 忘却係数を小さく取ると収束はするが定常誤差大。
- eta（共役勾配法の線形結合係数に乗じるパラメータ）を1.0未満にすると収束性能悪化。
- 共役勾配法の他手法も試してみるか。
- Polak-Ribi`ere(PR)を使うと少しは相関に強そうな挙動を見せる。
- しかし、定常誤差が大きくなるような傾向。
- Fletcher-Reeves(FR)は共役勾配が発散する。
- Hestenes-Stiefel(HS)は収束が遅い。
- ステップサイズを高くしても遅い。
- etaを変えても悪化。
- Dai-Yuan(DY)もHSと同じく収束が遅い。
- ステップサイズを高くしても遅い。
- etaを変えても悪化。
- Polak-Ribi`ere(PR)を使うと少しは相関に強そうな挙動を見せる。
- うーん。良くない。そもそもなんで悪くなったかを考えるべきでは？
- 悪条件だから、というのがあるはず。相関係数を変えてみてみる。
- 0.1-0.2ではデフォルトとあまり変わらない。
- 0.3あたりからプラトーというか収束が遅くなるような挙動を見せ始める。ただしSharman-Morrison式と同等の定常誤差に落ち着く
- 0.5では完全に収束曲線が "膨らむ"。尾根に引っかかっていると思う。
- 0.8では1000サンプル以内で収束しない。しかし、10000サンプルまで伸ばしてみてみると、定常誤差がSharman-Morrison式よりも小さくなる。
- 係数次数を大きく取ると傾向が顕著。逆に小さければ、相関が大きくても性能悪化が目立ちにくくなる。
- 低次（とくに2）だと、共役勾配の二次の定式化が効いているのかもしれない。
- 次数が上がるに従って勾配の広がり（残差勾配）が高次化してしまい、却って性能悪化に転じてしまう？
- AR(1), AR(2)も含めたまとめ方としては、「低次ならうまくいく」かもしれない。。。後ろ向きやなあ。
- 悪条件だから、というのがあるはず。相関係数を変えてみてみる。