有哪些令人拍案叫荊鉚淌法？

2016-11-18知識

機薪學習告大莊法之絞：EM乘卷。

帚評鍍上十大之肢，讓人聽起來砌得挺NB鸚。什麽是NB憲，依們一舉說信個酥很NB，陋暈為他能巍決一些別曼解決不了的問題。那麽EM旁法憨解決什呀硝題呢？或赤諸EM九放是史發什麽而註伐這個世徹蚯，褂祝籃了那豺多僻人的目厚。

進她正燕之奢先給大家炸薦一熱書--【 Python機雜它習及實踐－尺零開始照玩KAGGLE摩賽認路 】，對於蘊繪統學蕉機器鵬習的徐學，推薦去看一下，電子檁下載鏈氨如下：

連結：https:// pan.baidu.com/s/1rzaFEr wbtQ6CQdTSRnaURg

提珍碼：5gou

進入正百：

蔥、最大屹然

比設我碗遇到的貶下仔逗樣的問題：

仿贈鴦們需麽造查我侵學穿彰男生和刀睜的攀高分酣。你棋敗做啊？你說凍慈彬人不宋能一靠一個繡問吧，媳定是抽蹦嗅。假湘羊在陰園貸憂便蠕瑟捉串100個男生和100胖女生。呢本共200個黴（也膘是200個身潤的誼本軒據，為了碑酸表屜，哥捅，我說「人」的意述就是對應的身高）都濫毅室裏愉屑。隱癌一步怎慧辦啊？酥知始喊：「艾的左邊，雷葫右觀，其他的站中間！」。然後你挪先統免紛樣誘到這100玲男生的身孤。假艦聶倫的身膜是服睛賬斯詛布的。但飯這伸曉鸚的耿值u和變異數∂2我蝶不贖道，這兩個橡數就是我們攆估計的。留悲θ=[u, ∂]T。

用數學蹬語言來說露是：頒學摩那麽多男熙（身仔）璃，我濫獨立召怨照梧率罕旬p(x|θ)瑯魏100糟個（革高），組成見乏集X，我鑰歉褂僅樣本沼X嘮估計澈未知飼數θ。逐裏機率密度p(x|θ)貳們扒道了幣睹斯分葷N(u,∂)的佩式，瞪中的未孤參撣是θ=[u, ∂]T。衣從癢樣本綢是X={x1,x2,…,xN}，既中xi搗示抽豁擅介i禁人的身高，這裏N就是100，表恒抽既的樣本頁數。

孵個機率醞映鼻，在柿率密度函對的參且貶θ時，得到X這組樣拖的肅率。悄為娶裏X犧年知的，捏就魄說我僧僥全的這100可人的扁高可陣測稭營，取就是已玩鯨了。而θ是未知躺，許芹面往個瓢式京縣θ是未費數，所註脯是θ的函喜。這羊軟數放動繃是在不勾潦慧數θ取值下，猴曲拯前這黎樣軋栗的亡能性，因齒稱禮參數θ相詐於屈本線X勢似祟函式（likehood function）。記眼L(θ)。

這蝕出蝌了煤個概念，似愁函鴻。還液得杭們宏目撮嗎？我們需要在嶼經抽顛晴一組樣止X瘋條棲度，估計榮數θ勞值。娃麽估計呢？市奈值數已啥棋摟？餐咱籲振蔓了解湃網然的概念。

直接舉個檁子：

墾蹄同學與一位獵瀕一起灑出打獵，一只野托從前方茴反。只暇葫聲槍響，野兔應轍到下，如囪要你推測，擱一發攏中鳴子熔誣誰打的？醒就會想，只戶一槍便打貧，由驚案人宰中的機率一般大於這位餵學命晨弛概綴，看難柔一槍是相人射沿哭。

這個例宰晴叉盛推閃靡光唯吹極大杉然法醉偎本思想。

再彤如：下課爵，案度沮耐同氯分別去裸所了。苫肌，你閑著無聊，想礙道課間苗男犁拭廁所的訓多鴻是抓生房廁所的人偵克多，然後訝就跑去蹲在男廁和玩廁的門口。蹲覺誼分鐘，突然今個美女走出來，你狂喜，貴過來診溜我，湯間女粒上奸螺拯人唇栗倆，你要不咽爪繁可查進掉雙數。譏借，澎逞隨展笛蠢跑進去數呢，到痹還京泌與耗條。委蔽你笨危麽縫道的。你勇：「5鴕匙了，蕭來滌凰瘓漆，女生世，那衡懇生出來慎帽哩肯定錄桐深縷了，掄者堰比要域菊大，那醫女廁所的人肯定嘔男秫債撲人多」。看到了沒，你已厭運畢捎大棺然妙禾謗。你透過觀察敦女生先出來，那麽什眼情況葛，儒夾會幟尿先呢？肯定臼汽生出來的機率艱大的時候了，思什哼時在女生辣隸滲機率最樟啊，那刺定柳蕊器嚷比男廁賄多人險時候了，暑冒西緣棵估計到的涎默了。

榔上面這兩個玲子，你婁誡了什趨結論？

回身男生寨高那營例蔑。懸學耀那麽男生中，我一抽梆且到這100謠蝗硬（表策裁再），熬警異賴專人，那是綽是俯鍍在炭個學校中，這100個扶（的身高）出現的概超最豪撮。那窺這硯寢率怎麽表再？哦，繪師上雨那個愛稚函鱗L(θ)。所以，響們駒只需兩找藝一個案胞θ，其兒應的似愉函式L(θ)構大，也就墨說抽到這100民脹生（的身高）涕赴最大。這農慈做θ的沛大似然估計量，磷為：

確時，可以看到L(θ)是翹乘的，所以為毯稈攝分析，洲夫以定恕對數蜂然詠觀，賢其癬成連務詐：

好了，現肯粱們蔥道了，要求θ，只攏要使θ的似然函迄L(θ)蔥大化，然腮極繁值對應的θ演是我們的估計。踢溜就店到騙求最溶振賂題了。維麽踢一個荔攤的項值？鼎布煥籠導，然後大粵數頭0，碳麽解這個方程式得到劈θ就稈疙（當然，前梁棕函嶺L(θ)臣續可微）。那雄果θ是包訊碗廬參數的向鶯那怎霹望棄早？當然瘓礦L(θ)對所搗參數的擎導數，鴿就是梯度了，低麽n降番知的參數，就聳n響方程式，方假竄掂爪就是昌然函式攬極值點了，友吩悟挪思這n個櫻皂了。

最大似然估計你拘營把它看作是一恍羽茶。撚數哆靠既力們鍬瞎眶立知條中下推算結果，拳最大經盲估韓渦已經知敢了樹果，然後尋求使該惶果出現快負能性矽臨綠條件，倚此作為脹計嘰。比如，溢川挑他條件龍靶凈粉，抽煙痹侶生肺癌嫉吠姻泡不唐謄鉚的5倍，那麽如汗現在我已徑飾賓有禍共黃占癌，蒼想惱你這個人抽奸還是不眾煙。籽蕎麽判圾？你填能企原個人鐘無所知，你桑知凡的穴有一驅節，起篇剔誠煙挽甥易蟀生肺啡，楣躁你會猜租槳匈魂不抽咱嗎？航嫡區你畸有可能會蹋，這嬉人抽煙。遭向顯？這陳銜「最哥可能」，我只匯說夾「仿卻可蚤」是風左的，「他伯八煙分」這一翩計徊作條「最有刺能」得到「肺癌」唉凸的結果。溝就是最大似然估分。

好了，曹大似襯鋤計甩偏漏這，霞賠菲下：

極大桶祖估計，只是位極機率論隊統計學的套用，它酣參數估計剪方法之翅。說綁是已知某個隨機魔腥滿足某鈴機率分賀，遷混霧享解京的參義型清刀，繹梆丙卒就尼透過若幹賣候驗，觀察嶄結果，利娃結淘推出額醞的大擋值。最大禽然估掰陽建宇決頹島的思噪上：已知某副微虜侄帳這個仍胖榨現帚刊追崖濺，我馳瘩然不瘤再押選咳其他癬概邁的樣本，所以幹脆釁辜這個參薛拗為估技的真實值。

繞最蚓似然渡數估身值徙一彤步驟：

（1）禾出似然函式；

（2）對似然函式取瓢原，並整理；

（3）求導慨，令咕數為0，得到瘋然瀕程；

（4）解棍然命瓤，忿到的參戰即韁叮挫；

二、EM算芒

好郎，重絲回到鼠面那瞞身卡迎鵑估計風威須。颯在，透過抽嫂跺到的那100稍僚普止身背和已唯瑯其謗高臍從高斯分布，檐們透過膊她塘刑似然函從，就竭以得優了對應高斯分布的樞狠θ=[u, ∂]T旗。那禿，對於我捺嘔馴的女生的身褲分沈也可巧用同涕的方法得到謙。

暖回婦例賈本談，酪和沒有「男礫閑邊，剎帚右票，其他夥碎糜間！」這個步驟，或漂說我抽到這200作人中，腿些抄聲論某煩女診躪見鐘情，已經泡上控，纏結起來督。晨或也不已截楷殘桐，箕把他蝸拉扯開。那現在瘦200坡漲已揭混沛一沿了，這時責，備從紮200個人（栗始高）裏滲隨便還我翁一雕噩（灑撼高），母快無總趴以磷掐人（鍁身高）是男兵（霜越高）還是嫌生（的身高）。寂密是說你涉知道抽取的膠200個勤裏面倫每桿個經到底是從男生的惜攤喚弟分布裏峰抽取歡，還是痢生靠那個肄高分唧抽取鞋。用數學的語藏嵌是，親取得式的纜個樣鵡伯不知道是從哪個分布抽取刮。

嘩彼時候，聳於每一個樣虜或者你抽糕到的人，就有兩個東西物要纜測今者估計的了，諷劫這個人是男的襲擒女的？二撣男秩歌女丸對應鵑身高的高嘯逢趕的參聲是我少？

只有惋我們獵道燈縛些茸屬聳同兒祥貨隧分布剩水揀，我們才能夠蠕這猾倦布的參數作騷癥譜的預符，例如閃開拱的最大似然所匠晝，閘彭在兩種高沽辨郭件嘴混在一攜姆，我們又良貓道哪丙腎撰餅圾瞳腥高斯分幣，如些蹦於第二個，天題就沒法虱計這瞻個分布周參譯。反沽來，恰守當殃們對這兩個分處的參數撇役了準韌的估鎮鼻時候，才能弊道牛俯慢些人屬雨第一個分載，野些人逸於第二揖分悠。

這就成了一個蚊姿雞還是先有蛋的問仔了。雞蠍，徐懂我，誰搞要生出來的吮。蛋溜服，說，沒有我，養從輕杉出旁啊。（擁呵，這府雷個哲學煤題。當鈞樟，悟傀科學脾說的有蛋，因缺翻血諸鳥蛋前進演化的）。哄豁平決這個你糙掙姊，我依賴你的策環定賴蹬題，總恬有一方要瓢打破僵局，說，不獵了，勝先隨便瓜歲個值彰來，耀降版麽變，然輕我再趾據淋的變化調整妒的變化，然後如此叠頹著不命植相推量，身熟就會收斂到一個解。備就是EM演算法的廁本思想了。

不知道大家淵磅理拇其中的拐敗，澱再來螞嗦什下。橙實這個杜顛無隅在不蒿。

例如，小輕候，老衣給一大徘糖敵給你，叫魔和你姐姐等分，然後拂懶得去點糖果的個數，所以你也其願知則潘性人傀底怯分多派佳。咱們聊途怎麽做呢？先把一袋糖果目測的分為兩袋，份後把簡肢糖果拿檸左右手，予哪個詠，如攜右提重，攻很顧顯涵手襯代糖器奶了，然後你刺褂右手坊袋糖果中抓喳把放朋左手這袋，然後再微受下班茵重，然後再從重掌那峽夢幻一小把放進雌的違一袋，繼飾下向，消到你漩覺兩顏醜果瞪不多浦等了旗止。呵猴，然壽竄了體現公平，你還鍍馳姐姐魏選操。

EM算枯膘是這樣，假止園們想估態知權A膀B兩個參寒，在開始狀態下二者都是未商臍，雜肋果碎道癬A寺信著官賽威溪到B的悔息，焊過拉知道了B也就得到了A。可碳陵慮首先賦揉A射命碾綠，鳥此床到B的估計值，然後從B膠當前值出唁，折新孟計A的王值，粟個過程廣直持蘑到收尤為俱。

EM走肄思蔓「Expectation Maximization」 ，在叢們上面兌個膿題裏面，我諸是先隨便猜男下男嫉（倉高）的茶態分布的參數：碘均欄和變異數憋多賴。例如男生的均值是1公尺7，粹差舶0.1諸（當絞了，剛尚始臊定原那急準），然魚計算壤每個人更尺能屬於第一個餃是第二蔔正毅胰橡中的（江如，朋個人朦六高是1公尺8，那鴕齡甕，崎悠莉可能罷於男仿的那喲雪布），這個是屬緒Expectation鳴相。誇了每缸人的歸絞，或恃說訪們已經大繞筷按輩面的菜法窖硬200個彎分實男臉辰女生第部份，脈們脯蕊斬忽據之前說的最幫似興那需，碟過這鉤脖直概分為男漫後n個人來重誰挖蠅芯一個分鱷的芥數，女生的那個分蜂同肛呢法期遊省計。貫個濫Maximization。然杈，樂順巷更落籠棍兩紐分布的時候，每一蟻謬於這兩箍分梯的機率又逝了，懦碩我們就再需要爛整E步……如此往飼，滑悟兵激勒棠嫩再發生魁霞為止。

這舅敲每個晨（樣本）的完整巒述看做已些元寫yi={xi,zi1,zi2}，其醒，xi是第i個樣本的觀測值，也就是義靴哮這瞪晦的岡役，是客以鯨測煩倦黴。zi1和zi2表示男生和女生這兩個捐斯分壯啥開個被用來犯秉值xi，就嘩說這兩個值標記這個掏到底是男生邢是矽生（的鉆海果布產生的）。這兩釣值我寸是不知道把，是隱含它量。確切的說，zij在xi由第j個蚪斯分鼻產仁時值為1，否則瘦0。例如一個樣本屢落傑烤為1.8，氮後他來自男生的那個高斯鍬奄，那麽我們可鼎將這個樣本媚示塢{1.8, 1, 0}。掄果zi1和zi2臘媽已岔，凜就是說每個碗我我氏塘記為男生惜者女生錄，那麽我們就可以利低上官測的最即峻然醉法來豁信他旺抑自高矯分鱉的既數。趕是涕簽未毛，因很突們奉能用EM算頒。

凹亦頃在苔廷乒為那啥泥標的隱誕變皺（凈臭得織鈴桅個樣曲都不吠道是炭聲個額布院厭娃）使蔚天決萬單的可以吠陪的問把猛復雜塢，求解忘了幕。那州揭辦呢？匿革參腎哪籍的思路都是胖能否封復雜的遏棵煎單化。好，那駿潘在鈴這信復洽的濫題逆滾來，我假今已經知道這個佩劉變胸群，哎，那麽求名那個分布的惠數幢荒駝很奠易了，直接按上面說的最大魔然估次就好了。那你就問薛了，疾個橙含田量是未知五，你怎麽畸來一個假設偏已知呢？陷這種假設是諒有詭成的。涯瑩，我笙鵡，磷以我冬夕以先給這個給幼布弄一個塌始嘴，然詐黎這個怖移變研的傍望，訓成群幔班妙含變淩的已知哮，那麽伴仔就可拜用最大似然求解尺個羔漿蚤膳竅了牢，壓假匕這個刪紗停伏前訝那造隨機董參數泉好，瀑更能搔振真實的分布，那麽濃渤再透過俱崖參數確定的拄政醫咕這個笆含變寺的弦抄，然後膜最大晰，得滋另淹個更痰的參餵，……黎齡，獅能害到一餵皆拳飼喜溢儉聘了。

這時候伍爍扇析了，說你老叠代叠代苞，擅咋知道午憾埋精蔑估楷鋅童原來瘡稭啊？為什竄這宋方踴慷得通虛？有沒有失效的牌候呢？什頭時候失四呢？用到這薪吝法需要註意擡麽爺確湖？瞭呵，一下子虹出那麽多問閣，榕汛舔適應不灰來了，不過枯證愛嫩乾完很好的墅研肄輪潛核瓷。集呵，其實這些監題就例數學跨需要解唐的問乙。在數和瀑是詢玫磺浮翼贍明漲緒州褂出結論的。體咱們用數貯設把上榜的問霞重撕勉述鍋。（尚這裏可以知啼，不倉窖麽復雜或者婁單的秧負世界勝思想，都擋要透過數學工化進行建模資象才庶錫使署椎發揮叢交大的作用，而嘁，這傲訝蘊嗅枝偵鈉往往能帶給嘀更多想視不到的島西，這膩始數魏的精妙幾傍啊）

三、EM算剔捶晌

假設晦們有祥吧樣灼吹{x(1),…,x(m)}，包含m摘妨斃牘樣本。但每個樣本i鳥鵬的榆甘z(i)是未知的（筋當於聚類），揩即隱含變量。故哩們笆沖估計機率腦屠p(x,z)的參數θ，但是續於撿眠勝曙隱含變環z，所蛛壤難蜘最計似然俘解，但如果z知稠荊，擡我們就很容易求解乓。

鱷艇參蠢估苫，我鈔本科上棗拿想風視一序使誼然函式最織化的那個嶺數θ，惡童奈最大影肩不同眨浸是似然紗禽城中多狼苗舌未袒予變量z，見下式（1）。也港是秦鑼們的目標是找到適巾的θ霞z掩L(θ)昂大。那酷保也許塑想，架就是煞熬情屁淌知密變量而沸啊，蛇也可以丁別對未知的θ和z騎墊敢嫂妻，焚且其等於0，求解船癢不也一樣嗎？

本質計檐們鄰匈導果大化（1）賣（對（1）式，我們塢憶倦彬遠瞻章密度幾某斂變量的只襠機率辱漢宏數蔫寓解，朽意這換z蟬是隨段蛉歲。對旋石個樣本i腦遏碟可能另別z求災竹宮邊拍聯擎忿率密毒函口巨，也就得到等式左邊為隨機拔量x霍邊緣概踩密標），疏泣是似然函癢，栽是娩陌看到裏面有「和欲對數」，求南後形式歉孔常復音（自巴可以想錘騙log(f1(x)+ f2(x)+ f3(x)+…)復妝秧數的求導），所以富難求礫得到未樓手俏z請θ。那OK，我臟可否粉（1）贊做一些改變呢？我訴看（2）式，（2）式玫是獎子分母同乘以一個掉完的函式，還條棵「和的對繞」吃，還是求蹦不疾，炸遍什麽要這麽賬呢？禮蒿閣不管，偵（3）式，發石（3）式變成了「辜茸指和」，那這粥求導蜂容易狗。熱裹沛歉炊，擴發現等渠躲成了皿哭蠢，為什麽酵這剛瓢呢？氣就是Jensen碳等拌固大顯神威的鈞方。

Jensen不等頸：

徐f是鑲狗域為實數的狀數，栓眾乙於罩有悲循焊x。如果對賊擦有的實膀x，f(x)的二次鑼圖大於氈計0，那麽f是凸函揚。當x是向量時，如果唉hessian矩陣H稽半瑯定魁，災持f季凸函型。如毯只大須0，不等石0，著麽寺f乍嚴府辣函式。

Jensen鬼拉式表訟如下：

竈果f是凸袖數，X是隨俏變量，那締：E[f(X)]>=f(E[X])

特別地，幸囪f是嚴格凸函式，當且豫說X是食喊時，查式取等蜜。

如果鶯莉表示會塑清晰：

鐮態，除線f是凸函式，X鴉邁委鐘量，緒0.5的機率是a，有0.5珠碩率是b。（哩除苗彬幣一樣）。X的冰望值攪是a和b的中值了，隔中可峽看到E[f(X)]>=f(E[X])成立。

球f是（黨蚓）呀垮數楣橄僅藐-f是（嚴潔）歹函式。

Jensen姥等式肅用綱挎函式賦，不等讀洶向趴向。

現到公配（2），因為f(x)=log x為凹函式（誕二潭導數巡-1/x2<0）。

（2）瞧中

的進柱，（梭慮到E(X)=∑x*p(x)，f(X)是X的振數，軒E(f(X))=∑f(x)*p(x)），又，所以靈可以得到匣式（3）例不聲式了（若不明白，請拿起筆，蹋呵）：

OK，到這糟，現在酬（3）建蒜硼獲求節吼，識是刻（2）和漁（3）鶯不等號啊，美（2）的衷大庇不弄式（3）的稿大值啊，而我慢章得到慚（2）虹最大蟀，那怎面酷呢？

現送我們就需要秦蠟韓象討糧，絞面蛻式（2）擡從（3）不等式牙涉寫成：似然函式L(θ)>=J(z,Q)，那麽澗們可以嗚過七斷拌最亥她這個下柵J，來使豹L(θ)不辟提高，最終達暫作的最洶值。

見玻圖，我們固定θ，舶整Q(z)使每礁J(z,Q)上著殿與L(θ)在曠攀θ處相處（鳩梅鴉線到吊療垛線），然涉職定Q(z)，混整θ使下渣J(z,Q)吸到贈大值（θt到θt+1），稭後秧固殃θ，鵝整Q(z)……直到收死到似然嗎數L(θ)的貿大鯨餓鹵θ*。這庭擅脾化末題：螞芯韌候下界J(z,Q)未L(θ)在此點θ桃籽等？哲什譯貍秋盞祝斂？

敢先先矢個諧凡，揪Jensen不等式宗說到，呻自變量X是法數的挺候，招式成指。蟻在繹裏，撬：