\(R^{-1}\) の計算(7)

課題にかまけていたら平日全く時間を取れなかった。まずい。 なんのためにここに来ているのか改めて考えなければなるまい。

やるべきは、NGSAにGraphical LASSOを入れるのが最終目的として、 他にもいきなり思い出したことがある。夏に一瞬、共役勾配法を使えないかと言うのを考えていた。 改めて金谷先生の本を読んでもやれそうに見えるのだ。

• Graphical LASSOを逐次的に実行する手法はあるか？
  • 手法自体は中々見つかっていない・・・
    • 繰り返し回数を1で固定して、経験自己相関を逐次的に更新できれば。。。
  • ないとしても、自己相関行列を逐次計算する手法はあるか？
    • 共分散行列としたら色々出てきている…が、ピンとくる手法は無いように思える。
    • An Overview on the Estimation of Large Covariance and Precision Matrices でかい精度行列を推定する手法のサーベイ
    • Sparse Estimation of a Covariance Matrix 共分散行列のスパース推定
    • Shrinkage Algorithms for MMSE Covariance Estimation
    • Efficient Covariance Matrix Update for Variable Metric Evolution Strategies
  • 対称な3重対角行列であることを活かせない？
    • 活かすといっても何を活かせばいいんだろう。逆行列の計算が早い？
    • wikipedia に情報はあるけど、何をどう活かせばいいのか…うーん。
    • Analytical inversion of symmetric tridiagonal matrices 簡単なケースに対するものは解析解が求まっている。
• 共役勾配法を導入するとどうなる？
  • ヘッセ行列の計算を省いたときの、ビール・ソレンソン、ポラック・リビエール、フレッチャー・リーブスはどうなる？
    • これらを試すのは十分にあり。 \(R^{-1}\) を考える必要すらない。 ビール・ソレンソン等によれば \(R\) すらいらなくなる。しかし、気になるのは既存研究。

メモ:

• Gershgorinの定理の優しい解説 要約すると、固有値の範囲をその行列の要素から特定できる定理なのだ。スパースモデリングでも度々出てくる。
• 階層型ニューラルネットとその周辺 NNに対する自然勾配法（Fisherのスコアリング法と言っている）の原始的な定式化。広島大学の栗田先生。甘利先生より早いのでは？
  • ITERATIVE WEIGHTED LEAST SQUARES ALGORITHMS FOR NEURAL NETWORKS CLASSIFIERS Fisherのスコアリング法を提案している論文。
  • 2乗誤差基準でFisher情報行列を求めると、重み付きの入力の相関になる…まさか、LMSも重み付き相関で求まることを言っている？→簡単に確認したけどそんなことは無いはず…