\begin{equation*}
\newcommand\innerp[2]{\langle #1, #2 \rangle}
\newcommand\ve[1]{\boldsymbol{#1}}
\newcommand\parfrac[2]{\frac{\partial #1}{\partial #2}}
\newcommand\mean[2]{\mathrm{E}_{#1} \left[ #2 \right]}
\newcommand\KL[2]{\mathrm{KL} \left[ #1 \ \middle| \middle| \ #2 \right]}
\end{equation*}
FCMの目的関数:
\begin{equation*}
J = \sum_{i = 1}^{N} \sum_{j = 1}^{c} \mu_{ij}^{m} D_{ij}^{2}
\end{equation*}
ここで、 \(N,c\) はそれぞれデータ数とクラスタ数、 \(\mu_{ij}\) はファジイ係数で \(i\) 番目のデータがクラスタ \(j\) に持つ重みを示す。 \(m \in [1, \infty)\) はファジイ度合いを決める係数で大きく取ればよりファジイ(曖昧さを許す)になる。 \(m = 1\) のときはハードなクラスタリングになる(らしい) 。 \(D_{ij}\) は \(i\) 番目のデータと \(j\) 番目のクラスタの中心との距離。
各データの重みの総和は1になるように制約を課す。式で書くと
\begin{equation*}
\sum_{j = 1}^{c} \mu_{ij} = 1 \quad i = 1, ..., N
\end{equation*}
この制約条件下でのラグランジュ関数(ラグランジアン) \(L\) は、
\begin{equation*}
L = \sum_{i = 1}^{N} \sum_{j = 1}^{c} \mu_{ij}^{m} D_{ij}^{2} + \sum_{i = 1}^{N} \lambda_{i} \left[ 1 - \sum_{j = 1}^{c} \mu_{ij} \right]
\end{equation*}
となる。偏微分して0とおき、最適条件を求めることを考える。
\begin{align*}
\parfrac{L}{\mu_{ij}} &= m \mu_{ij}^{m-1} D_{ij}^{2} - \lambda_{j} = 0 \tag{1} \\
\parfrac{L}{\lambda_{i}} &= 1 - \sum_{j = 1}^{c} \mu_{ij} = 0 \tag{2}
\end{align*}
より、まず(1)式から \(\mu_{ij}\) について解くと、
\begin{equation*}
\mu_{ij} = \left( \frac{\lambda_{i}}{mD_{ij}^{2}} \right)^{\frac{1}{m-1}} = \lambda_{i}^{\frac{1}{m-1}} \left( \frac{1}{mD_{ij}^{2}} \right)^{\frac{1}{m-1}} \tag{3}
\end{equation*}
これを(2)式に代入すると、
\begin{align*}
1 &= \sum_{j=1}^{c} \mu_{ij} = \sum_{j=1}^{c} \left( \frac{\lambda_{i}}{mD_{ij}^{2}} \right)^{\frac{1}{m-1}} \\
&= \lambda_{i}^{\frac{1}{m-1}} \sum_{j=1}^{c} \left( \frac{1}{mD_{ij}^{2}} \right)^{\frac{1}{m-1}} \\
\implies \lambda_{i}^{\frac{1}{m-1}} &= \frac{1}{\sum_{j=1}^{c} \left( \frac{1}{mD_{ij}^{2}} \right)^{\frac{1}{m-1}}}
\end{align*}
これを(3)式に代入すれば、
\begin{align*}
\mu_{ij} &= \lambda_{i}^{\frac{1}{m-1}} \left( \frac{1}{mD_{ij}^{2}} \right)^{\frac{1}{m-1}} = \frac{1}{\sum_{k=1}^{c} \left( \frac{1}{mD_{ik}^{2}} \right)^{\frac{1}{m-1}}} \left( \frac{1}{mD_{ij}^{2}} \right)^{\frac{1}{m-1}} \\
&= \frac{1}{\sum_{k=1}^{c} \left( \frac{1}{mD_{ik}^{2}} \right)^{\frac{1}{m-1}} \left( \frac{1}{mD_{ij}^{2}} \right)^{-\frac{1}{m-1}}} = \frac{1}{\sum_{k=1}^{c} \left( \frac{mD_{ij}^{2}}{mD_{ik}^{2}} \right)^{\frac{1}{m-1}}} \\
&= \frac{1}{\sum_{k=1}^{c} \left( \frac{D_{ij}}{D_{ik}} \right)^{\frac{2}{m-1}}}
\end{align*}
最後が気持ちよかった(小並感)