正則化パラメータを変えたときの結果を並べてプロットするようにした。さらに窓サイズを小さくして観察している。

  • プリエンファシスを前処理に入れると1層構成で高いflatnessが出ている(プリエンファシスを含めれば2層だが)。
    • 窓サイズを小さくしていくと性能差が顕著になる。2048ではっきり見え、16384以上では差がほぼなくなる。
    • 正則化パラメータも高く取ると性能が向上する。

LINNEは窓サイズを変えて最も良い窓サイズを選んでいるから、性能の解析ができていなかった。正則化パラメータ=1/512で良かったのは平均的に良い挙動を示すパラメータだったと想像。 正則化については最適設定が気になり始めている。

LINNEが採用しているプリエンファシス2段も気になるので実験着手。その際にプリエンファシスでも正則化が動いてしまっている事に気づき修正(影響は僅かであった。)。

実験回しながら『音声の線形予測』を読んでいる。なぜプリエンファシスが良いのか触れている論文を見る

プリエンファシスや正則化によって条件数は改善していることは間違いない。しかし、なぜ精度が上がっているのかはまだ不明。

  • フレームサイズが絡んでいるような気がした。フレームサイズが小さいときにパラメータ数を大きくすると劣決定問題に近づくから、正則化が働きやすい。という想定

条件数を調べざるを得ない気がした。条件数のヒストグラムを作ってみたいと思う。 同時に条件数についての資料を漁る。

条件数を見ていたら行列L2ノルムが出てきて、正則化パラメータを動かしたときにどのようなトレンドを見せるのか興味が出てきた。量子化誤差解析のときと同じように、ある正則化パラメータでflatnessが最大(L2ノルムが最小)になると想定できる。こっちが優先に思えた。