量子化誤差を組み込んだら挙動が変わらないか見てみる。が、挙動見えず。
しかし、符号量の改善量は大きいことを見ている（元の80%になったり。）これは、係数の量子化幅を最も近い2の冪乗に切り上げていることが効いているだろう。。。LPCの時にも戦っていたが、それをどう対処するかは考えられない。。
\(\epsilon\) を網羅探索すれば良くなる話ではある。しかし、それでは実用的ではない。 一般論で攻めようかな。一般的なSVRはどうやって決めているかを見る。（νSVRは双対係数を保持しなければならないので却下）SVRの一般の論文を漁る。
- Parameter Selection for Linear Support Vector Regression 実践的にも \(\epsilon=0\) が良いとのこと。
- Training ν-Support Vector Regression: Theory and Algorithms ""Unfortunately, we have not been able to find an effective lower bound on \(\epsilon\) "" と言っている…明らかなこととして、出力絶対値の最大値に設定すると全てのサンプルが刈り込まれて最適係数はゼロベクトルになる、と言っている。自明。
網羅探索はしたくない。しかし \(\epsilon\) と符号長の関係は複雑。符号長に基づく手法では最適点を求められないが、準最適ならば採用有りなのではと思う。だから、 \(\epsilon=0\) の時の符号長と比べて平均的に優れたパラメータが求まればOKとするか。→実験したが、 \(\epsilon=0\) と比べて悪化している。うーーーーーーーーーーーーーーーーーーーーーん。
\(\epsilon=0\) で過学習するけど、それは別にいいんだよな・・・・・お手上げ感ある。悔しいが網羅探索するしかないような印象。ただ、網羅探索すると音源依存ではあるが1-5%の改善（符号長）が得られる。良いのを選んでいるから減るのは当然として、ゲインが大きい。。。同時に思ったことは、最小二乗法をRidge正則化しても同じじゃねと思うこと。やってみたらその通りだった。網羅探索で選んできた結果と同じ。そして、Ridgeのほうがパラメータ解釈性がいい。0から開始して悪化した瞬間に止めればいいように見える（と思ったらそれは係数量子化ビット数が大きいときの話だった。ビットを荒くすると挙動が不安定）。
これらの観察から、Ridge回帰のパラメータとSVRの \(\epsilon\) をグリッドサーチすりゃいいんじゃねとなる。今観察中。符号と残差L1ノルムの傾向が似ているように見える。要観察。
昨日寝る間際に、再帰的Golomb-Rice符号で \(x < 2^{k_{1}}\) ならば \(k < k_{1}\) でGolomb-Rice符号を適用すればより0集中した残差を符号化できそうだなあと考えていた。以前どこかでGolomb-Rice符号の商の分布を見たら2段階に分かれていたことを思い出している（0付近の急激な現象分布+裾の重い部分）。