GMMのパラメータ推定

GMMのパラメータ推定#

混合ガウスモデル（GMM）は以下のような式で表される．

\begin{array}{r} p (x; ϕ, μ, Σ) = \sum_{k = 1}^{K} ϕ_{k} N (x; μ_{k}, Σ_{k}) \end{array}

ここで，データ $D = {x^{(1)}, x^{(1)}, \dots, x^{(N)}}$ が与えられたとき，パラメータ $ϕ, μ, Σ$ を最尤推定によって求めることを考える．

簡単のため，パラメータをまとめて $θ (= (ϕ, μ, Σ))$ とする．モデルがパラメータ $θ$ をとるときの尤度 $p (D; θ)$ は，

\begin{aligned} p (D; θ) & = p (x^{(1)}; θ) p (x^{(2)}; θ) \dots p (x^{(N)}; θ) \end{aligned}

と表される．

そのままでは扱いづらいので，対数をとると以下のようになる．

\begin{array}{r} \begin{aligned} \log p (D; θ) & = \log (p (x^{(1)}; θ) p (x^{(2)}; θ) \dots p (x^{(N)}; θ)) \\ = \sum_{n = 1}^{N} \log p (x^{(n)}; θ) \\ = \sum_{n = 1}^{N} (\log \sum_{k = 1}^{K} ϕ_{k} N (x^{(n)}; μ_{k}, Σ_{k})) \end{aligned} \end{array}

ここで，尤度が最も高い，すなわち $\log p (D; θ)$ を最大にするような $θ$ が，データ $D$ に最も適合したパラメータということになる，

よってこれを求めればよいが，式(5) は解析的に解くことが難しいため，別の手法が必要とされる．

参考：「ゼロから作るディープラーニング 5」p84