予定が五月雨式に入っておりまとまった時間とれず。今SVRをやっているが、それまでの流れをメモ。
Hinge Lossに相当する損失はVapnik ε-sensitiveと論文にあったが、Vapnikの名前からSVMを思い出し、もう一度資料を見てみた所SVRによるFIRシステム同定にほかならないことに気づく。
SVRの双対問題による定式化ならば凸計画になるので安定している。Gram行列は直前までのp時刻サンプルの内積を取った線形カーネルになる。実装してみてそれなりの性能を示すことが分かった。好適に思えるが問題がいくつか。
- Gram行列はNxN（N：サンプル数）なので巨大。8192サンプルとか考えると悲観的。
- 近似できないか考え、観察を続けた所pを大きくしたときに自己相関行列に近づくことに気づいた（ただし、遠い相関でもサンプル数が減らずに相関が減らない）。自己相関行列で近似してみたがGram行列はToeplitz行列でもないため性能が悪化。
- 計画行列Xを用いればGram行列はXX^Tと分解できるので、分解を使って計算することでO(N)程度に収まった
- Levinson-Durbin法で初期値を定めて、それをSVRで改善していく手段を取りたい
- 収束が遅い/学習係数を上げると不安定なため、実用性のためにも必須
- 観察していると、双対変数と残差信号が要素ごとに比例しているように見受けられる。理論的に示せないか見ている。
- 補助関数法を使えそう
- 双対変数のL1ロスを2次関数で近似すれば閉経式解を解くことによる効率的な手法が求まるかも？
- A Tutorial on Support Vector Regression SVRのイントロ。様々なロスに対応する密度が書いてある。
勾配0条件を解くのにLASSOの知見が使えることを思い出す。勾配降下法を漁っていると見覚えのある式が。Glassoだ。