\begin{equation*}
\newcommand\ve[1]{\boldsymbol{#1}}
\newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]}
\end{equation*}
論文出したけど、自己共分散と自己相関でまだ混乱してる。 実装時には嘘つけないので整理しないといけない。
- Chapter 3 Autoregressive processes 一般のAR(p)モデルの分散の求め方が載ってる。そしてその分散を掛けたものを我々は自己相関と言っている気がする。
- AR(1)なら \(\sigma_{x}^{2} = \frac{\sigma_{z}^{2}}{1 - \rho^{2}}\) が分散になる。以下、システムノイズを標準正規分布 \(N(0,1)\) とする。すると \(\sigma_{z}^{2} = 1\) だから \(\sigma_{x}^{2} = \frac{1}{1 - \rho^{2}}\) となる。
- \((\ve{K})_{ij} = \rho^{|i-j|}\) とすると、自己相関行列は \(\ve{R} = \sigma_{x}^{2}\ve{K} = \frac{1}{1 - \rho^{2}}\ve{K}\) と書ける。ここで、自己相関行列と自己共分散行列は全く同じものを指しているので注意。
- \(\ve{R}^{-1} = \left(\frac{1}{1 - \rho^{2}}\right)^{-1} \ve{K}^{-1} = \frac{1 - \rho^{2}}{1 - \rho^{2}} \ve{A}^{-1} = \ve{A}^{-1}\) ここで \(\ve{A}^{-1}\) は 共分散の逆を求める論文 で求めたもの。だから、スカラーはキャンセルされて、結局 \(\ve{A}^{-1}\) で良かったことになる。おそらく一般の \(\mathrm{AR}(p)\) でスカラーがキャンセルされるはず。
- overleafに書いてる \(\sigma^{2}\) は \(\sigma_{x}^{2}\) と考えればよい…はず。
\(\ve{R}_{1}^{-1}\) の替わりに \(\ve{K}_{1}^{-1}\) を使ってLMS/Newtonアルゴリズムを実装すると、収束範囲はどうなるか。 \(\ve{R}_{1} = \frac{1}{1 - \rho^{2}}\ve{K}_{1}\) だから、 \(\ve{R}_{1}\) の固有値 \(\lambda_{k}\) に対し \(\ve{K}_{1}\) の固有値 \(\mu_{k}\) の範囲は、
\begin{align*}
\frac{\sigma_{x}^{2} (1 - \rho^{2})}{1 + 2 \rho + \rho^{2}} < \lambda_{k} < \frac{\sigma_{x}^{2} (1 - \rho^{2})}{1 - 2 \rho + \rho^{2}} \\
\iff \frac{\sigma_{x}^{2}}{1 + 2 \rho + \rho^{2}} < \mu_{k} < \frac{\sigma_{x}^{2}}{1 - 2 \rho + \rho^{2}} \\
\iff \frac{\sigma_{x}^{2}}{(1 + \rho)^{2}} < \mu_{k} < \frac{\sigma_{x}^{2}}{(1 - \rho)^{2}}
\end{align*}
これより、一般化固有値問題 \(\ve{R}\ve{x} = \eta\ve{K}_{1}\ve{x}\) の最大固有値 \(\eta_{\max}\) は、
\begin{align*}
\eta_{\max} &= \max_{\ve{x} \neq \ve{0}} \frac{\ve{x}^{\mathsf{T}}\ve{R}\ve{x}}{\ve{x}^{\mathsf{T}}\ve{K}_{1}\ve{x}} = \max_{\ve{x} \neq \ve{0}} \frac{\ve{x}^{\mathsf{T}}\ve{R}\ve{x}}{\ve{x}^{\mathsf{T}}\ve{x}} \frac{\ve{x}^{\mathsf{T}}\ve{x}}{\ve{x}^{\mathsf{T}}\ve{K}_{1}\ve{x}} \\
&\leq \left( \max_{\ve{x} \neq \ve{0}} \frac{\ve{x}^{\mathsf{T}}\ve{R}\ve{x}}{\ve{x}^{\mathsf{T}}\ve{x}} \right) \left( \min_{\ve{x} \neq \ve{0}} \frac{\ve{x}^{\mathsf{T}}\ve{K}_{1}\ve{x}}{\ve{x}^{\mathsf{T}}\ve{x}} \right)^{-1} \\
&< N\sigma_{x}^{2} \left\{ \frac{\sigma_{x}^{2}}{(1 + \rho)^{2}} \right\}^{-1} = N (1 + \rho)^{2} \\
&< 2N
\end{align*}
となる。しかし、ここまでやっておいてあれだけど、逆行列は \(\ve{R}^{-1} = \ve{A}^{-1}\) で間違いない（わざわざ \(\ve{K}_{1}^{-1}\) を計算するのが大変で不自然）ので問題なことが分かった。むしろ問題は標準正規分布と書いてないことだろうか。