5/25、フレームサイズを4096, 窓関数適用しても8192の場合とほぼ同等の結果だった。
階層的LPCの解析として、フィルタをフーリエ変換すれば階層的にしてもフィルタの積でかけることが見えた（残差演算も \(h_{0} = 1\) にすればOK）。分割してノルムが最小になる組み合わせを選ぶ操作もフィルタを通じて書けた。
総パラメータ数を \(N\) 、層数を \(L\) とすると、出力の経路の組み合わせ数は \((\log_{2} N + 2 - L)^{L}\) となる。その中からロスが最小になるものを選んでいる。しかし、貪欲に層ごとに選択している点と、また最終層で経路が閉じる点があるから実質的な組み合わせ数は減る。
層数 \(L\) を増やすと、組み合わせ数が指数オーダーで上昇する。このことと ResNetはアンサンブル(Residual Networks Behave Like Ensembles of Relatively Shallow Networks) がかなり親和性があり、性能向上に寄与しているのではないかと考え始める。
もう一度多層の実験結果を見ると、今解決すべき課題が2点あることに気付く。
- なぜ多層にしたときにロスが減るのか
- なぜ正則化を入れて多層にするとロスが減るのか
プリエンファシスの話はどっかにいってしまったが、多層の解析が重要であることは間違いないのでそちらを優先。