LMS Filterの挙動観察中(9)

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \end{equation*}

実装誤りを見直しながらもう一度。

やはり、自然勾配法が何故 …

more ...

LMS Filterの挙動観察中(8)

まだ粘る。GW終わるまでには何らかのアウトプットがほしい。

指数移動平均のαを増やすと性能（誤差、エントロピー）が悪 …

more ...

LMS Filterの挙動観察中(7)

実データ適用で、どうも上手く行かない。やっぱり分散行列の逆行列が発散している。

適応的自然勾配をやめて、真面目 …

more ...

LMS Filterの挙動観察中(6)

今日は実装整理して実データへ適用してみる。気になってるのが適応的自然勾配の更新式。

  • 確率の重み付けは正規化 …
more ...

LMS Filterの挙動観察中(5)

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \end{equation*}

別のことをしているときに、ふと適応的自然勾配学習法を弄 …

more ...

LMS Filterの挙動観察中(4)

本日も引き続き発散の原因を追う。 →ステップサイズを小さくしたら発散しなくなった…。職人芸じゃないかこんなの。NLMS …

more ...

LMS Filterの挙動観察中(3)

LMSはヘッセ行列の逆行列込みの学習ができているが、Signed-LMSは上手く行かない。分散行列が特異になったり、要素が大きく …

more ...

LMS Filterの挙動観察中(2)

つまるところ、以下の計算をどうやるか？に尽きる。

\begin{equation*} \mathrm{E}\left[ \delta(\varepsilon(n)) x(n - m) x(n - k) \right] = \lim_{N \to \infty} \frac{1}{N} \sum_{n = 1, \varepsilon(n) = 0}^{N …
more ...

LMS Filterの挙動観察中(1)

引き続き観察中。勾配の計算ミスがあったりして厳しかった。

問題は、やはりというかSignLMSでのヘッセ行列。\(\mathrm{E}[\varepsilon((n))x(n-m …

more ...

LMS Filterの挙動観察

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \end{equation*}

今日はJupyterを使って残差・残差勾配を観察していく。もう夜遅 …

more ...