\begin{equation*}
\newcommand\ve[1]{\boldsymbol{#1}}
\end{equation*}
資料に追い込みを掛けていたので、あまり進捗なし。発表してもらったコメントで大きそうなのをメモる。
- SA、実はヘブ則そのものでは？
- 全くその通り。識別タスクにしたらまんまそれ。NN的に見ると〜はヘブ則と言ってもいいくらい。
- グラフは正方形にすべし。
- 全くその通り。すぐに修正するべし。
- 尤度は独立な観測では不完全。独立同分布な(i.i.d.)な観測や
- NNGSAの最適化問題による定式化ってリッジ回帰に似てる。対角行列を計量にしてる。
- \(\mathrm{E}\left[ \left\{ \frac{\mathrm{sgn}(\varepsilon[n])}{\sigma} \right\}^{2} \ve{x}[n] \ve{x}[n]^{\mathsf{T}} \right] = \frac{1}{\sigma^{2}} \mathrm{E} \left[ \ve{x}[n] \ve{x}[n]^{\mathsf{T}} \right]\) はほんまか？a.e.では？近似では？ \(\mathrm{E}\) だから厳密？
- やっぱり要審査。自分は期待値操作でルベーグ積分するから、測度0の点は抜いても大丈夫だと思っている。
- 厳密にいけそう。 \(\mathrm{sgn}(x) := \frac{x}{|x|}\) と定義すると、 \((\mathrm{sgn}(x))^{2} = \frac{x^{2}}{|x|^{2}} = 1\) 。 \(x=0\) のときが怪しくなるが、これは、 \(\mathrm{sgn}(x) \approx \frac{x}{\sqrt{x^{2} + \varepsilon}}\) としてやって（ \(\varepsilon \to 0\) とすれば符号関数に一致）、 \((\mathrm{sgn}(x))^{2} \approx \frac{x^{2}}{x^{2} + \varepsilon}\) で、 \(\varepsilon \to 0\) としてやれば恒等的に1になる。多分、近似を使ったやり方のほうが \(x=0\) でややこしくならないから筋がいい。
- 答えとしては、 \(\mathrm{sgn}(x) := \lim_{\varepsilon \to 0} \frac{x}{\sqrt{x^{2} + \varepsilon}}\) がいいかも。
- いや、まだ怪しい… \(\mathrm{sgn}(0) = 0\) という定義だから、絶対 \((\mathrm{sgn}(0))^{2} = 0\) になる。積分を絡めて考えないとだめか。至るところ1なんだけど、1点 \(x=0\) において \(0\) を取る関数の平均。。。
- グラフのitaration → iteration
- \(\ve{R}^{-1}\) の計算について。
- 低ランク近似、とくに、 \(n\) 重対角行列で近似できん？→確かに。相関行列は端っこに近づくほど0になっていくから、有効かも。
- DFTしてなだらかに変化する要素（つまり低域信号）のパワーは切り捨てる近似がオッケーだったりしないか。→まったくそのとおり、\(\ve{R}\) をDFTすると、ウィーナ・ヒンチンが顔を出しそう。
- スレ―ビングというらしい。
- （所感）残差がガウス分布に従うとしたLMS ←ちょっと突然すぎる。
- LMS（残差がガウス分布に従う）は… ←こっちのほうがいい。むしろ、ガウス分布の話はいらない。
- 損失関数はReLuにしても良いのでは→あり。でもどうなるんだろう。