9/8,9,10 とエンコーダ・デコーダの実装をしていた。 フルスクラッチではなく構造としてはほぼNARUと同じだから早い。今日にはとりあえずロスレスで戻るものを確認している。 やはりデコード時間が早い。
テストを固めながら、プリセットの選定を行っていきたい。
今の所気になっている項目は、
- 末尾が2の冪数になっていないと問題が起こりそう
- しかし切り上げとかするとデコード時に追加の領域が必要になりそう
- 2の冪数が問題になるのは分析学習時のときだった。予測のときは剰余サンプルは無視しても問題ない(合成のときも同様に無視されるから)
- おそらく対応できたはず。
- BPが遅い。微分を直接計算することで高速化できないか?微分すると結局BPに帰着するかもしれないが追うだけ追ってみたい
- 亀岡さんの研究 のように補助関数を使う。初期値設定をこれに従うのがいいのか?
- IRLS もあり得るのでは
- 手っ取り早いところではAdamを試すとか。
- AdaGradが案外良いと言うのを見ている。振動しない。(逆に言うとMomentumが振動しがち)
- 6.1.6:Adam【ゼロつく1のノート(実装)】 わりと沼だと思うんだな...
- 亀岡さんの研究 のように補助関数を使う。初期値設定をこれに従うのがいいのか?