9/11, 9/12 はAIR聖地巡り。美しい。聖地以外も。そして飯がうまい。日高のクエ鍋は冬料理（10〜3月）だが、いつかきっと食べに行こう。
コーデックの実装に戻る。ここからが勝負になると思っている。今日は帰りの新幹線のぞみで、Adamを試してみたい。 実装してみたがすごい不安定。デフォルトの推奨値（学習率:0.001、beta1:0.9、beta2:0.999、イプシロン1e-8）でないと実用的とは思えない。 上パラメータは ここ を参照した。
薄紅10secの末尾をエンコードしたところ、モーメンタムが120223byte, AdaGradが120115byte, Adamが120192byteでAdaGradに軍配が上がっている。 もうすこし本格的に調査すべきかもしれないが、学習曲線の安定性から見てもAdaGradを選ぶことになりそう。
学習の良し悪しが圧縮率に影響しているので面白くもあり同時に恐ろしくもある。とりあえず今は収束速度重視で考えたい。
- 部分時系列クラスタリングの理論的基礎 時系列データの窓をランダムに切り出してk-means法を適用すると、セントロイドに正弦波しか表れないということを理論的に示している。すごいが、フーリエ変換し始めたあたりでたしかにそうだよなあと思った。
帰っている途中で、AdaGradの実装が間違っていることに気付いた。全ての次元で2乗和をとっていた。 直したが、学習率は低く取らないと発散しがち。