量子化ステップ幅のモデル化がガバガバだった。
- 8bitで記録しているが、符号ビットを除くと7bit精度になる。
- frexpを取ることで最大2倍量子化幅が荒くなる。
(もしかしたら)演算時の誤差は係数量子化と全く同様に効いてくるのかもしれない。するとさらに2倍が必要なのかもしれない。
うだうだパラメータをいじり始めてしまったのでやめる。Pythonで現象を追う。
量子化ステップ幅のモデル化がガバガバだった。
(もしかしたら)演算時の誤差は係数量子化と全く同様に効いてくるのかもしれない。するとさらに2倍が必要なのかもしれない。
うだうだパラメータをいじり始めてしまったのでやめる。Pythonで現象を追う。