LMS Filterの挙動観察中(6)

今日は実装整理して実データへ適用してみる。気になってるのが適応的自然勾配の更新式。

  • 確率の重み付けは正規化 …
more ...

LMS Filterの挙動観察中(5)

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \end{equation*}

別のことをしているときに、ふと適応的自然勾配学習法を弄 …

more ...

LMS Filterの挙動観察中(4)

本日も引き続き発散の原因を追う。 →ステップサイズを小さくしたら発散しなくなった…。職人芸じゃないかこんなの。NLMS …

more ...

LMS Filterの挙動観察中(3)

LMSはヘッセ行列の逆行列込みの学習ができているが、Signed-LMSは上手く行かない。分散行列が特異になったり、要素が大きく …

more ...

LMS Filterの挙動観察中(2)

つまるところ、以下の計算をどうやるか？に尽きる。

\begin{equation*} \mathrm{E}\left[ \delta(\varepsilon(n)) x(n - m) x(n - k) \right] = \lim_{N \to \infty} \frac{1}{N} \sum_{n = 1, \varepsilon(n) = 0}^{N …
more ...

LMS Filterの挙動観察中(1)

引き続き観察中。勾配の計算ミスがあったりして厳しかった。

問題は、やはりというかSignLMSでのヘッセ行列。\(\mathrm{E}[\varepsilon((n))x(n-m …

more ...

LMS Filterの挙動観察

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \end{equation*}

今日はJupyterを使って残差・残差勾配を観察していく。もう夜遅 …

more ...

Signed-LMSの2階微分 その2

\begin{equation*} \newcommand\innerp[2]{\langle #1, #2 \rangle} \newcommand\ve[1]{\boldsymbol{#1}} \newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}} \end{equation*}

早速既存研究が無いか見ている。二乗誤差最小化のLMSでもヘ …

more ...

LMSフィルターの挙動観察

\(\mathrm{E}[\mathrm{sign}[e(n)]x(n-m)]\) の挙動を追いたい。色々な信号に対して、

  • \(m\) が十分大きいとき、0に近づくかどうか

を知りたい。もし0 …

more ...