\begin{equation*}
\newcommand\innerp[2]{\langle #1, #2 \rangle}
\newcommand\ve[1]{\boldsymbol{#1}}
\newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}}
\newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]}
\newcommand\KL[2]{\mathrm{KL} \left[ #1 \ \middle| \middle| \ #2 \right]}
\end{equation*}
逆行列補題を使えば、どんな自然勾配法でも上手く動きそうな気がしてきた…。 勾配の分散行列を逐次的に求められるから相当強い。 自己相関行列であることはそんなに重要でもないかも。。。。でも評価待ちましょう。。。
一方で今日から正則化をどうすればいいか考えている。答えはフィッシャー情報行列に \(\lambda \ve{I}\) を足すだけなんだが、意味づけというか解釈が上手くできない。どういう損失関数ならばフィッシャー情報行列に単位行列を足す形になるのか。。。
SignedLMSで試したけど難航中。どうしても \(\mathrm{sign}[\varepsilon(n)]\ve{x}(n)\) との積をとる項が出てきて、その平均がどうなるかわからない。。。
実験的に勾配に係数ベクトルを足すなり係数の符号ベクトルを足すなりしてるけど、 正則化パラメータをめちゃくちゃ小さく取らないと結果が発散する…。