LAD(Least Absolute Deviation)を近似的・逐次的に解く方法としてのIRLSについて調査。そういえば基本的な原理を抑えていなかった。
- Iteratively Reweighted Least Squares についてサクッと。 文字通りサクッとしたまとめ。OMPを使って解いているというのがとても気になる
- Iterative Reweighted Least Squares 導入から解法まで。しかしなぜ解が求まるのかは不明。
- Iterative Reweighted Least Squares バッファロー大の講義資料？これも何故解けるのかはちゃんと書いてない。
- Iterative Reweighted Least Squares これが一番いいかも。なぜ解けるかもざっくり証明がある。
- そこで出てきたsupergradient（優勾配？劣勾配に対応している？）がよくわからん。資料のすぐ下に解説があったけど。 Supergradients に定義はあったけど幾何学的イメージが欲しい。
- Weiszfeld Algorithmsという幾何中央値を求めるアルゴリズムは Generalized Weiszfeld Algorithms for Lq Optimization に解説あり。しかしこの論文いいこと言ってる。「Generalized Weiszfeld Algorithms」は圧縮センシングとは異なりスパース表現を求めるわけではない。スパース性は担保されなくても、よりL1ノルムの意味で小さい解を求める。
- なぜ、IRLSとLMSアルゴリズムを結びつける研究がないのか。IRLSの逐次適用によってもフィルタ係数を更新していけそうだけど。試してみるし、類似研究が無いか引き続き調べる。
『スパースモデリング』の5章にも記述はある。しかし残差のL1最小化ではない。