最大期望算法（EM）ExpectationMaximizationAlgorithm最大期望算法最大期望算法，是一種迭代算法，用于含有隱變量的概率參數(shù)模型的最大似然估計或極大后驗概率估計。最初是由Ceppellini等人1950年在討論基因頻率的估計的時候提出的。后來又被Hartley和Baum等人發(fā)展的更加廣泛。目前引用的較多的是1977年Dempster等人的工作。它主要用于從不完整的數(shù)據(jù)中計算最大似然估計。后來經(jīng)過其他學(xué)者的發(fā)展，這個算法也被用于聚類等應(yīng)用。最大期望算法例：我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。你在校園里隨便地選取了100個男生和100個女生。統(tǒng)計抽樣得到的100個男生的身高和100個女生的身高。假設(shè)他們的身高各自是服從高斯分布的。

最大期望算法如果X是在概率空間（Ω,P）中的一個隨機變量，那么它的期望值E[X]的定義是

。最大期望算法若已知樣本取值為x1,x2,…xn，則事件{X1=x1,X2=x2,…Xn=xn}發(fā)生的概率為：設(shè)總體X是離散型隨機變量，其概率函數(shù)為p(x,θ)，其中θ是未知參數(shù)．聯(lián)合概率函數(shù)：最大期望算法聯(lián)合概率密度函數(shù)是隨θ的改變而改變的，將它看作是θ的函數(shù)就是似然函數(shù)：最大期望算法例：我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。你在校園里隨便地選取了100個男生和100個女生。統(tǒng)計抽樣得到的100個男生的身高和100個女生的身高。假設(shè)他們的身高各自是服從高斯分布的。

抽出的樣本是男生抽出的樣本是女生最大期望算法隨意的抽取一個樣本，無法判斷是男是女。最大期望算法

用數(shù)學(xué)的語言：抽取得到的每個樣本無法判斷是從哪個分布。

男生和女生對應(yīng)的身高的高斯分布的參數(shù)是多少這個人是男的還是女的最大期望算法對于每一個抽取到的人，有兩個方面要估計。最大期望算法推導(dǎo)過程：

對于參數(shù)估計，我們本質(zhì)上還是想獲得一個使似然函數(shù)最大化的那個參數(shù)θ，現(xiàn)在與最大似然不同的只是比似然函數(shù)式中多了一個未知的變量z，也就是說我們的目標(biāo)是找到適合的θ和z讓L(θ)最大。最大期望算法PS：(2)→(3)時運用的是Jensen不等式：如果f是凸函數(shù)，X是隨機變量，那么，當(dāng)且僅當(dāng)f是嚴格凸函數(shù)時，。如果f是凹函數(shù)，X是隨機變量，那么，當(dāng)且僅當(dāng)f是嚴格凹函數(shù)時，。二次導(dǎo)數(shù)為，為凹函數(shù)。最大期望算法EM算法步驟：初始化分布參數(shù)重復(fù)E、M步驟直到收斂。

最大期望算法

E步驟：估計未知參數(shù)的期望值，給出當(dāng)前的參數(shù)估計。根據(jù)參數(shù)初始值或上一次迭代的模型參數(shù)記

,來求一個分布q(z)，使得L(q,θ)最大化。

最大期望算法

M步驟：重新估計分布參數(shù)，以