一旦まとめ。受けた指摘としては、
- Hinge損失が不連続だからランドスケープががたがたしているかも。連続緩和したらどうか？
- たしかにsmoothed hingeは有効かもしれない。
- ロスとして再帰的Golomb-Rice符号の平均符号長を使う。相関が高いから問題ない。
- 平均符号長に最尤推定結果を突っ込むとどうなる？？
- ちょっと手を出してみたけど複雑になりそう。 \(x\) が小さいとき \((1 - x)^y \approx \exp(-xy)\) という近似が成り立つのでそれをうまく使えないか 参考
符号長をロスに突っ込もうとして平均符号長をいじっていた（微分を考えていた）ら、符号長についてもっとやれそうな印象が。
再帰的Golomb-Riceの平均符号長をプロットしていたら、1つのパラメータ設定則が思い浮かんだ。k1 = k2 + 1としているから実質1パラメータになる。その時のパラメータを変えながら \(\rho\) を横軸、平均符号長を縦軸プロットしていくと、いくつも線が得られる。その中の最小をとる曲線を選べば最小になる。その曲線はk+1のパラメータの曲線と1点で交わるからそこが切り替えるべき \(\rho\) となる。交点はいったいどうなっている？
普通のGolomb-Rice符号との比較も気になるところ。