論文執筆に戻らないといけないことが分かった。
解析的最適化を行いたいのはもちろんだが、後回しになりそう。 今日で一旦実装に整理をつけておく。明日以降論文のプロットを打つ。
今日試したいのは勾配を直線探索する試み。理由は2点
- 最急降下法で直線的に降下しているところを見ると、もしかしたら誤差平面は単純な凸に近いのかもしれない
- これは嘘っぽい。最急降下法でも勾配を毎回計算しているから、方向は逐次変わっている。
- 勾配計算（とくに逆誤差伝播）の負荷が大きすぎるでなるべく勾配計算回数を減らしたい。
試してみた。確かに収束は早いが、圧縮率が悪化した。また、原因は詳しく終えてないが別音源で無限ループ。 全体的に性能が良くないため直線探索は採用しない。