逆写像定理までの整理(2)

ついでにラグランジュ未定乗数法とKKT条件まで行ってしまった。欲張った。 予定より断然時間かかってしまったけど …

more ...

逆写像定理までの整理

評価を待つ間逆写像定理までを写経中。だいたい飲み込めてるが、やっぱ基礎の抜けがある…。 陰関数定理はだいたいOK …

more ...

正則化(8)

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]} \newcommand\KL[2]{\mathrm{KL} \left[ #1 \ \middle| \middle| \ #2 \right]} \end{equation*}

前日思い立っ …

more ...

正則化(7)

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]} \newcommand\KL[2]{\mathrm{KL} \left[ #1 \ \middle| \middle| \ #2 \right]} \end{equation*}

Matrix cookbook を眺めて …

more ...

正則化(6)

残った課題をやってたら土日が飛ぶ。ついでにカサゴ本を読み切る。 6月からは英語のおべんきょうをしようかと思 …

more ...

正則化(5)

課題やってたら木金が飛んだ。。。

古い資料を漁ってたら、SPSA（Simultaneous perturbation stochastic approximation）が掘り返された。たしかシステム同定で使ったよな …

more ...

正則化(4)

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]} \newcommand\KL[2]{\mathrm{KL} \left[ #1 \ \middle| \middle| \ #2 \right]} \end{equation*}

引き続きMAP推 …

more ...

正則化(3)

実装の整理できて、正則化込で動かしているけど芳しくない。

  • 正則化入れたらRMSが悪化。しかも、正則化係数を十分小さ …
more ...