\(\mathrm{E}[\mathrm{sign}[e(n)]x(n-m)]\) の挙動を追いたい。色々な信号に対して、
- \(m\) が十分大きいとき、0に近づくかどうか
を知りたい。もし0に近づくならば有効な過程として解法に使える。 しかしその前に、LMSフィルター自体の挙動を追いたい。
- 残差はどの様に減る？残差の時系列は？
- ステップサイズにより収束の度合い（残差の分布）が違う...
- 当然、フィルタ次数でも収束の度合い（残差の分布）が違う
- 残差分布はどうなってる？Signed-LMSでラプラス分布に近づいてる？
- これは本当のようで、Signed-LMSの方が裾が細い残差分布が得られている。
- 単純な正弦波に対してはLMSのほうが残差が小さくなるが、ボイスやピアノ音源に対しては圧倒的にSignLMSの方が性能が良い（残差のヒストグラムを見ると、裾が狭い）
- \(\mathrm{E}[\mathrm{sign}[e(n)]x(n-m)]\), \(\mathrm{E}[e(n)x(n-m)]\) は両方とも0。
- 逐次計算していったら、音源非依存で0に近づいていく
- 当然だよな…そもそもの過程として入力と雑音は無相関と仮定しているのだから。
- 仮定しているのだからは正しくなくて、無相関にするようにフィルタ係数を更新しているが正しい。
- 無相関になったときに勾配が0で最急勾配法が止まる。
- なんか絶対値誤差最小化ってどっかで見たよな…と思っていたら、
- https://en.wikipedia.org/wiki/Least_absolute_deviations
- 修士のときに一回戦っていた。
- カレル大学卒論 が結構まとまっている。
- \(L_{1}\) ノルム最小化を近接オペレータの繰り返し適用で解けんじゃね？と思っている
- 近接勾配法とproximal operator を読んだが、パラメータ正則化だけだな
- パラメータ正則化はあるけど、残差をスパースにするのがない。なんで？