GMMのパラメータ推定

GMMのパラメータ推定#

混合ガウスモデル(GMM)は以下のような式で表される.

p(x;ϕ,μ,Σ)=k=1KϕkN(x;μk,Σk)

ここで,データ D={x(1),x(1),,x(N)} が与えられたとき,パラメータ ϕ,μ,Σ を最尤推定によって求めることを考える.

簡単のため,パラメータをまとめて θ (=(ϕ,μ,Σ)) とする.モデルがパラメータ θ をとるときの尤度 p(D;θ) は,

p(D;θ)=p(x(1);θ) p(x(2);θ)  p(x(N);θ)

と表される.

そのままでは扱いづらいので,対数をとると以下のようになる.

logp(D;θ)=log( p(x(1);θ) p(x(2);θ)  p(x(N);θ) )=n=1Nlogp(x(n);θ)=n=1N(logk=1KϕkN(x(n);μk,Σk))

ここで,尤度が最も高い,すなわち logp(D;θ) を最大にするような θ が,データ D に最も適合したパラメータということになる,

よってこれを求めればよいが,式(5) は解析的に解くことが難しいため,別の手法が必要とされる.


参考:「ゼロから作るディープラーニング 5」p84