本日も引き続き発散の原因を追う。 →ステップサイズを小さくしたら発散しなくなった…。職人芸じゃないかこんなの。NLMSみたく発散しない条件がほしいな。
本当に既存研究がないか、再度調査。
自然勾配を適応的に計算する方法を試している。無論、定義式通りに計算するのは問題ないことは確かめているが、計算量が気になるのです。
パラメータを色々といじりつつ、論文も参照してそれなりのパラメータを見つける。 パラメータについては Adaptive Natural Gradient Method for Learning of Stochastic Neural Networks in Mini-Batch Mode を皮切りに調査開始。
- Adaptive Method of Realizing Natural Gradient Learning for Multilayer Perceptrons が甘利先生。（福水先生もいるぞ）
- この論文で適応的更新式の導出が述べられる。
- Adaptive natural gradient learning algorithms for various stochastic models も甘利先生。（福水先生もいるぞ）
- A Simplified Natural Gradient Learning Algorithm 更にシンプルにしたもの。2011年。
Toy-problemとして中央値の逐次推定とかアリではと、少しだけ思った。