\begin{equation*}
\newcommand\innerp[2]{\langle #1, #2 \rangle}
\newcommand\ve[1]{\boldsymbol{#1}}
\newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}}
\newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]}
\newcommand\KL[2]{\mathrm{KL} \left[ #1 \ \middle| \middle| \ #2 \right]}
\end{equation*}
引き続きMAP推定における自然勾配を調査する。
- Noisy Natural Gradient as Variational Inference の式(5)からスタートするも…はっきりしたことを言ってないように見える。
- Adaptive natural gradient learning algorithms for various stochastic models これの式(5)も参考になりそう。
- Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models 指数族の事後確率最大化を考える。フィッシャー情報行列を計算するための平均のとり方が妙。もうちょっと読みたい。