構成固定で正則化パラメータだけ動かしたときに統計量がどうなるかを見よう。→パット見、やはり凸なトレンドを見せた。しかも、パラメータ数に依存していない(層数だけに依存していそう)。

入力で決まりそうな統計量ってなんだろう…と考えたところ、variance of fit(推定の分散)が効いていそうな気がした。→量子化誤差解析のまとめから式を追ってみたら、予測誤差最小化の式で織り込み済みだった。

プリエンファシスに起因しているかと思っていたが、プリエンファシスを抜いても凸なトレンドを確認した。プリエンファシスによって露骨に現れるようになったというのが実態か。

何かしら正則化によって予測が改善する成分があるということを示しているが、謎だ。double精度で計算しているから量子化誤差ではないはず。