\begin{equation*}
\newcommand\ve[1]{\boldsymbol{#1}}
\newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]}
\end{equation*}
(23)の所でずっと詰まっていた。イベントを通り抜ける。その最中、そういえば共分散行列を忘却係数付きで更新し、その逆行列を求めたときどうなるかを確かめていないことを思い出した。
すると、共分散行列の更新則の違いで差が出ていることが分かった。忘却係数を \(\lambda\) とすると、
\begin{align*}
\ve{R}[n+1] &\leftarrow \lambda \ve{R}[n] + (1 - \lambda) \ve{x}[n] \ve{x}[n]^{\mathsf{T}} \tag{1} \\
\ve{R}[n+1] &\leftarrow \lambda \ve{R}[n] + \ve{x}[n] \ve{x}[n]^{\mathsf{T}} \tag{2}
\end{align*}
の2つの更新則が考えられる。(1)は普通の指数移動平均、(2)はRLSとかの更新則。そして、(1), (2)の性能を比べると、
- (1)は詰まっていた所の性能と同じ性能。
- i.i.d.の場合はSAと同等
- 相関付きの場合は一旦SAより早めに残差が落ちるが、その後残差悪化に転じて定常誤差が大きい状態になってしまう。
- (2)はSherman-Morrison式NGSAと同等の性能。
あれ？(2)が正しいんだっけ？ おかしいと思ってもう一度適応フィルタ本（Heykin）を見たら、やはり(2)が正しい。(2)の更新則によってRLSが成り立っている。また、(2)で \(\ve{R}[1] = \ve{I}\) とするのはL2正則化に該当する。
すると(2)の方式を採用しつつ、逆行列のAR(1)近似が取れればよいということになるが、標本分散を(2)の方式で更新してみても全く性能が良くない。
あがいてレバガチャしてしまう前に、(2)で求められている \(\ve{R}^{-1}\) の観察を開始。（もしかして共役勾配法も(2)でやればうまくいくのか…？）