私用によりしばらく空けていた。結果をOverleafに纏めていたり、リサンプラーを作っていたのも要因。
結果を見ると、
- 多層構造にすると（パラメータ総数が同一でも）残差が減る傾向
- 正則化を入れると、多層構造で残差が減る傾向
- フレームサイズを大きくすると正則化による効果は小さくなる
さて、多層にした際に残差（分散）が減るのはなぜだろうか？
最小の残差となる分割を選んでいるからではないか？と考えたが、多層にしても選択回数は同一だから成り立たない気がする。
一方、ミニマムな例としてプリエンファシスを入れると残差が下がるケースを今まで度々見てきた。プリエンファシスを行ったデータに対して残差最小値が下がっているのではないかという予測が立つ。やってみよう。