圧縮率改善検討(10)

fastICAと勾配に基づくICAを実装して試してみたが、芳しくない

• L-D法を初期値に設定すると、そこから改善していかない
  • かといって適当に初期化するとL-D法よりも良くない統計量で止まってしまう
• fastICAの場合は尖度（あるいはネゲントロピー）が振動する
  • 比較的良い状態と悪い状態を言ったり来たりする
  • ICAの符号の同定不能性にハマっている？
• 勾配法は、尖度の絶対値は上昇しているが、負値が上昇しておりより分布が広がってしまう
• 白色化が不完全？
  • 平均0分散1に正規化したら収束性が若干安定
  • 時系列方向で白色化するならLPCをかませるしか無いが、完全な白色化にはならない。

LPC（orプリエンファシス）をかませたデータを散布図で表示したら見事に真円になってた。そりゃそうか。ガウス分布に近づけてんだもんな。 つまり、LPCは情報をふっとばす作用としてはある意味最適なのか。

LPC（orプリエンファシス）を除いて直接ICAを適用したら、平均化フィルタが得られた。。。

• 無論望ましくない。しかし、2次元散布図で見てもy=xに近い分布に対してw[0]=w[1]としているから、適切な射影になっている。
  • 回転だけで考えてしまうのでICAはめちゃくちゃ厳しいのでは？？
• 波形を見るとresidualが波形の再構成結果になっている。

そもそも回転だけで残差がラプラスになるとは思えない。ICAを直接使うのではなく、ICAにインスパイアして優ガウス的な発想から攻めていくのが良いかと考え始める。

そこで考えているのがL1ロスの近似になる。

• logcosh。これは、双曲線正割分布の対数を取ったときに出てくる。logcoshを微分するとtanhが出てくる。

  • 双曲線正割分布の応用

• Huber loss（絶対値が小さい区間で2乗誤差を適用している）

  • これ、再帰的Golomb-Riceに対応しているような…

    • 少しありえる。 \(2^{k_{1}}\) よりも小さいシンボルの長さは全て \(1 + x\) としていて、それはすなわち一様分布となっている。
      • これHinge lossだわ。微分可能にしたのがHuber lossになるな。
    • 小さい領域では情報量が増えても構わないからガウスにする。発想として悪くない。
    • An Alternative Probabilistic Interpretation of the Huber Loss Huber損失の近似 ポスター

• Hinge loss

早速Hinge lossとHuber lossの周辺を調査。勾配法で求まることは自明。でも遅いのも自明。できれば閉経式で求めたい。L-D法を初期値として改善していく方向もあり。

• Generalized Huber Loss for Robust Learning and its Efficient Minimization for a Robust Statistics なめらかにしたPseudo-Huber loss
• Convergence of EM Image Reconstruction Algorithms with Gibbs Smoothing ポテンシャル関数として多数提案

そして既存研究に思い至る。

• 予測誤差のGolomb-Rice符号量を最小化する線形予測分析
  • 補助関数法によりやっている。Huber lossも取り込んでいる。
  • ワンチャンHinge lossで攻められないか。Hinge lossの滑らかな上界を作って攻める方針。
    • Learning with Smooth Hinge Losses のsmooth hinge lossがいいかも。必ず上界を与えているし、sigma->0でhingelossに一致。