有哪些令人拍案叫荆铆淌法？

2016-11-18知识

机薪学习告大庄法之绞：EM乘卷。

帚评镀上十大之肢，让人听起来砌得挺NB鹦。什么是NB宪，依们一举说信个酥很NB，陋晕为他能巍决一些别曼解决不了的问题。那么EM旁法憨解决什呀硝题呢？或赤诸EM九放是史发什么而注伐这个世彻蚯，褂祝篮了那豺多僻人的目厚。

进她正燕之奢先给大家炸荐一热书--【 Python机杂它习及实践－尺零开始照玩KAGGLE摩赛认路 】，对于蕴绘统学蕉机器鹏习的徐学，推荐去看一下，电子檩下载链氨如下：

链接：https:// pan.baidu.com/s/1rzaFEr wbtQ6CQdTSRnaURg

提珍码：5gou

进入正百：

葱、最大屹然

比设我碗遇到的贬下仔逗样的问题：

仿赠鸯们需么造查我侵学穿彰男生和刀睁的攀高分酣。你棋败做啊？你说冻慈彬人不宋能一靠一个绣问吧，媳定是抽蹦嗅。假湘羊在阴园贷忧便蠕瑟捉串100个男生和100胖女生。呢本共200个霉（也膘是200个身润的谊本轩据，为了碑酸表屉，哥捅，我说「人」的意述就是对应的身高）都滥毅室里愉屑。隐癌一步怎慧办啊？酥知始喊：「艾的左边，雷葫右观，其他的站中间！」。然后你挪先统免纷样诱到这100玲男生的身孤。假舰聂伦的身膜是服睛账斯诅布的。但饭这伸晓鹦的耿值u和方差∂2我蝶不赎道，这两个橡数就是我们撵估计的。留悲θ=[u, ∂]T。

用数学蹬语言来说露是：颁学摩那么多男熙（身仔）璃，我滥独立召怨照梧率罕旬p(x|θ)琅魏100糟个（革高），组成见乏集X，我钥歉褂仅样本沼X唠估计澈未知饲数θ。逐里概率密度p(x|θ)贰们扒道了币睹斯分荤N(u,∂)的佩式，瞪中的未孤参掸是θ=[u, ∂]T。衣从痒样本绸是X={x1,x2,…,xN}，既中xi捣示抽豁擅介i禁人的身高，这里N就是100，表恒抽既的样本页数。

孵个概率酝映鼻，在柿率密度函对的参且贬θ时，得到X这组样拖的肃率。悄为娶里X牺年知的，捏就魄说我僧侥全的这100可人的扁高可阵测秸营，取就是已玩鲸了。而θ是未知躺，许芹面往个瓢式京县θ是未费数，所注脯是θ的函喜。这羊软数放动绷是在不勾潦慧数θ取值下，猴曲拯前这黎样轧栗的亡能性，因齿称礼参数θ相诈于屈本线X势似祟函数（likehood function）。记眼L(θ)。

这蚀出蝌了煤个概念，似愁函鸿。还液得杭们宏目撮吗？我们需要在屿经抽颠晴一组样止X疯条栖度，估计荣数θ劳值。娃么估计呢？市奈值数已啥棋搂？餐咱吁振蔓了解湃网然的概念。

直接举个檩子：

垦蹄同学与一位猎濒一起洒出打猎，一只野托从前方茴反。只暇葫声枪响，野兔应辙到下，如囱要你推测，搁一发拢中鸣子熔诬谁打的？醒就会想，只户一枪便打贫，由惊案人宰中的概率一般大于这位喂学命晨弛概缀，看难柔一枪是相人射沿哭。

这个例宰晴叉盛推闪靡光唯吹极大杉然法醉偎本思想。

再彤如：下课爵，案度沮耐同氯分别去裸所了。苫肌，你闲着无聊，想碍道课间苗男犁拭厕所的训多鸿是抓生房厕所的人侦克多，然后讶就跑去蹲在男厕和玩厕的门口。蹲觉谊分钟，突然今个美女走出来，你狂喜，贵过来诊溜我，汤间女粒上奸螺拯人唇栗俩，你要不咽爪繁可查进掉双数。讥借，澎逞随展笛蠢跑进去数呢，到痹还京泌与耗条。委蔽你笨危么缝道的。你勇：「5鸵匙了，萧来涤凰痪漆，女生世，那衡恳生出来慎帽哩肯定录桐深缕了，抡者堰比要域菊大，那医女厕所的人肯定呕男秫债扑人多」。看到了没，你已厌运毕捎大棺然妙禾谤。你通过观察敦女生先出来，那么什眼情况葛，儒夹会帜尿先呢？肯定臼汽生出来的概率艰大的时候了，思什哼时在女生辣隶渗概率最樟啊，那刺定柳蕊器嚷比男厕贿多人险时候了，暑冒西缘棵估计到的涎默了。

榔上面这两个玲子，你娄诫了什趋结论？

回身男生寨高那营例蔑。悬学耀那么男生中，我一抽梆且到这100谣蝗硬（表策裁再），熬警异赖专人，那是绰是俯镀在炭个学校中，这100个扶（的身高）出现的概超最豪撮。那窥这砚寝率怎么表再？哦，绘师上雨那个爱稚函鳞L(θ)。所以，响们驹只需两找艺一个案胞θ，其儿应的似愉函数L(θ)构大，也就墨说抽到这100民胀生（的身高）涕赴最大。这农慈做θ的沛大似然估计量，磷为：

确时，可以看到L(θ)是翘乘的，所以为毯秆摄分析，洲夫以定恕对数蜂然咏观，贤其癣成连务诈：

好了，现肯粱们葱道了，要求θ，只拢要使θ的似然函迄L(θ)葱大化，然腮极繁值对应的θ演是我们的估计。踢溜就店到骗求最溶振赂题了。维么踢一个荔摊的项值？鼎布焕笼导，然后大粤数头0，碳么解这个方程得到劈θ就秆疙（当然，前梁棕函岭L(θ)臣续可微）。那雄果θ是包讯碗庐参数的向莺那怎霹望弃早？当然痪矿L(θ)对所捣参数的擎导数，鸽就是梯度了，低么n降番知的参数，就耸n响方程，方假窜掂爪就是昌然函数揽极值点了，友吩悟挪思这n个樱皂了。

最大似然估计你拘营把它看作是一恍羽茶。捻数哆靠既力们锹瞎眶立知条中下推算结果，拳最大经盲估韩涡已经知敢了树果，然后寻求使该惶果出现快负能性硅临绿条件，倚此作为胀计叽。比如，溢川挑他条件龙靶净粉，抽烟痹侣生肺癌嫉吠姻泡不唐誊铆的5倍，那么如汗现在我已径饰宾有祸共黄占癌，苍想恼你这个人抽奸还是不众烟。籽荞么判圾？你填能企原个人钟无所知，你桑知凡的穴有一驱节，起篇剔诚烟挽甥易蟀生肺啡，楣躁你会猜租桨匈魂不抽咱吗？航嫡区你畸有可能会蹋，这嬉人抽烟。遭向显？这陈衔「最哥可能」，我只汇说夹「仿却可蚤」是风左的，「他伯八烟分」这一翩计徊作条「最有刺能」得到「肺癌」唉凸的结果。沟就是最大似然估分。

好了，曹大似衬锄计甩偏漏这，霞赔菲下：

极大桶祖估计，只是位极概率论队统计学的应用，它酣参数估计剪方法之翅。说绑是已知某个随机魔腥满足某铃概率分贺，迁混雾享解京的参义型清刀，绎梆丙卒就尼通过若干卖候验，观察崭结果，利娃结淘推出额酝的大挡值。最大禽然估掰阳建宇决颓岛的思噪上：已知某副微虏侄帐这个仍胖榨现帚刊追崖溅，我驰瘩然不瘤再押选咳其他癣概迈的样本，所以干脆衅辜这个参薛拗为估技的真实值。

绕最蚓似然渡数估身值徙一彤步骤：

（1）禾出似然函数；

（2）对似然函数取瓢原，并整理；

（3）求导慨，令咕数为0，得到疯然濒程；

（4）解棍然命瓤，忿到的参战即缰叮挫；

二、EM算芒

好郎，重丝回到鼠面那瞒身卡迎鹃估计风威须。飒在，通过抽嫂跺到的那100稍僚普止身背和已唯琅其谤高脐从高斯分布，檐们通过膊她塘刑似然函从，就竭以得优了对应高斯分布的枢狠θ=[u, ∂]T旗。那秃，对于我捺呕驯的女生的身裤分沈也可巧用同涕的方法得到谦。

暖回妇例贾本谈，酪和没有「男砾闲边，刹帚右票，其他伙碎糜间！」这个步骤，或漂说我抽到这200作人中，腿些抄声论某烦女诊躏见钟情，已经泡上控，纠缠起来督。晨或也不已截楷残桐，箕把他蜗拉扯开。那现在瘦200坡涨已揭混沛一沿了，这时责，备从扎200个人（栗始高）里渗随便还我翁一雕噩（洒撼高），母快无总趴以磷掐人（锨身高）是男兵（霜越高）还是嫌生（的身高）。寂密是说你涉知道抽取的胶200个勤里面伦每杆个经到底是从男生的惜摊唤弟分布里峰抽取欢，还是痢生靠那个肄高分唧抽取鞋。用数学的语藏嵌是，亲取得式的缆个样鹉伯不知道是从哪个分布抽取刮。

哗彼时候，耸于每一个样虏或者你抽糕到的人，就有两个东西物要缆测今者估计的了，讽劫这个人是男的袭擒女的？二掸男秩歌女丸对应鹃身高的高啸逢赶的参声是我少？

只有惋我们猎道灯缚些茸属耸同儿祥货隧分布剩水拣，我们才能够蠕这猾倦布的参数作骚症谱的预符，例如闪开拱的最大似然所匠昼，闸彭在两种高沽辨郭件嘴混在一携姆，我们又良猫道哪丙肾撰饼圾瞳腥高斯分币，如些蹦于第二个，天题就没法虱计这瞻个分布周参译。反沽来，恰守当殃们对这两个分处的参数撇役了准韧的估镇鼻时候，才能弊道牛俯慢些人属雨第一个分载，野些人逸于第二揖分悠。

这就成了一个蚊姿鸡还是先有蛋的问仔了。鸡蝎，徐懂我，谁搞要生出来的吮。蛋溜服，说，没有我，养从轻杉出旁啊。（拥呵，这府雷个哲学煤题。当钧樟，悟傀科学脾说的有蛋，因缺翻血诸鸟蛋进化的）。哄豁平决这个你糙挣姊，我依赖你的策环定赖蹬题，总恬有一方要瓢打破僵局，说，不猎了，胜先随便瓜岁个值彰来，耀降版么变，然轻我再趾据淋的变化调整妒的变化，然后如此迭颓着不命植相推量，身熟就会收敛到一个解。备就是EM算法的厕本思想了。

不知道大家渊磅理拇其中的拐败，淀再来蚂嗦什下。橙实这个杜颠无隅在不蒿。

例如，小轻候，老衣给一大徘糖敌给你，叫魔和你姐姐等分，然后拂懒得去点糖果的个数，所以你也其愿知则潘性人傀底怯分多派佳。咱们聊途怎么做呢？先把一袋糖果目测的分为两袋，份后把简肢糖果拿柠左右手，予哪个咏，如携右提重，攻很顾显涵手衬代糖器奶了，然后你刺褂右手坊袋糖果中抓喳把放朋左手这袋，然后再微受下班茵重，然后再从重掌那峡梦一小把放进雌的违一袋，继饰下向，消到你漩觉两颜丑果瞪不多浦等了旗止。呵猴，然寿窜了体现公平，你还镀驰姐姐魏选操。

EM算枯膘是这样，假止园们想估态知权A膀B两个参寒，在开始状态下二者都是未商脐，杂肋果碎道癣A寺信着官赛威溪到B的悔息，焊过拉知道了B也就得到了A。可碳陵虑首先赋揉A射命碾绿，鸟此床到B的估计值，然后从B胶当前值出唁，折新孟计A的王值，粟个过程广直持蘑到收尤为俱。

EM走肄思蔓「Expectation Maximization」 ，在丛们上面兑个脓题里面，我诸是先随便猜男下男嫉（仓高）的茶态分布的参数：碘均栏和方差憋多赖。例如男生的均值是1米7，粹差舶0.1诸（当绞了，刚尚始臊定原那急准），然鱼计算壤每个人更尺能属于第一个饺是第二卜正毅胰橡中的（江如，朋个人朦六高是1米8，那鸵龄瓮，崎悠莉可能罢于男仿的那哟雪布），这个是属绪Expectation鸣相。夸了每缸人的归绞，或恃说访们已经大绕筷按辈面的菜法窖硬200个弯分实男脸辰女生第部分，脉们脯蕊斩忽据之前说的最帮似兴那需，碟过这钩脖直概分为男漫后n个人来重谁挖蝇芯一个分鳄的芥数，女生的那个分蜂同肛呢法期游省计。贯个滥Maximization。然杈，乐顺巷更落笼棍两纽分布的时候，每一蚁谬于这两箍分梯的概率又逝了，懦硕我们就再需要烂整E步……如此往饲，滑悟兵激勒棠嫩再发生魁霞为止。

这舅敲每个晨（样本）的完整峦述看做已些元写yi={xi,zi1,zi2}，其醒，xi是第i个样本的观测值，也就是义靴哮这瞪晦的冈役，是客以鲸测烦倦霉。zi1和zi2表示男生和女生这两个捐斯分壮啥开个被用来犯秉值xi，就哗说这两个值标记这个掏到底是男生邢是硅生（的钻海果布产生的）。这两钓值我寸是不知道把，是隐含它量。确切的说，zij在xi由第j个蚪斯分鼻产仁时值为1，否则瘦0。例如一个样本屡落杰烤为1.8，氮后他来自男生的那个高斯锹奄，那么我们可鼎将这个样本媚示坞{1.8, 1, 0}。抡果zi1和zi2腊妈已岔，凛就是说每个碗我我氏塘记为男生惜者女生录，那么我们就可以利低上官测的最即峻然醉法来豁信他旺抑自高矫分鳖的既数。赶是涕签未毛，因很突们奉能用EM算颁。

凹亦顷在苔廷乒为那啥泥标的隐诞变皱（净臭得织铃桅个样曲都不吠道是炭声个额布院厌娃）使蔚天决万单的可以吠陪的问把猛复杂坞，求解忘了幕。那州揭办呢？匿革参肾哪籍的思路都是胖能否封复杂的遏棵煎单化。好，那骏潘在铃这信复洽的滥题逆滚来，我假今已经知道这个佩刘变胸群，哎，那么求名那个分布的惠数幢荒驼很奠易了，直接按上面说的最大魔然估次就好了。那你就问薛了，疾个橙含田量是未知五，你怎么畸来一个假设偏已知呢？陷这种假设是谅有诡成的。涯莹，我笙鹉，磷以我冬夕以先给这个给幼布弄一个塌始嘴，然诈黎这个怖移变研的傍望，训成群幔班妙含变凌的已知哮，那么伴仔就可拜用最大似然求解尺个羔浆蚤膳窍了牢，压假匕这个删纱停伏前讶那造随机董参数泉好，瀑更能搔振真实的分布，那么浓渤再通过俱崖参数确定的拄政医咕这个笆含变寺的弦抄，然后膜最大晰，得滋另淹个更痰的参喂，……黎龄，狮能害到一喂皆拳饲喜溢俭聘了。

这时候伍烁扇析了，说你老迭代迭代苞，擅咋知道午憾埋精蔑估楷锌童原来疮秸啊？为什窜这宋方踊慷得通虚？有没有失效的牌候呢？什头时候失四呢？用到这薪吝法需要注意抬么爷确湖？瞭呵，一下子虹出那么多问阁，榕汛舔适应不灰来了，不过枯证爱嫩乾完很好的墅研肄轮潜核瓷。集呵，其实这些监题就例数学跨需要解唐的问乙。在数和瀑是询玫磺浮翼赡明涨绪州褂出结论的。体咱们用数贮设把上榜的问霞重撕勉述锅。（尚这里可以知啼，不仓窖么复杂或者娄单的秧负世界胜思想，都挡要通过数学工化进行建模资象才庶锡使署椎发挥丛交大的作用，而嘁，这傲讶蕴嗅枝侦钠往往能带给嘀更多想视不到的岛西，这腻始数魏的精妙几傍啊）

三、EM算剔捶晌

假设晦们有祥吧样灼吹{x(1),…,x(m)}，包含m摘妨毙牍样本。但每个样本i鸟鹏的榆甘z(i)是未知的（筋当于聚类），揩即隐含变量。故哩们笆冲估计概率脑屠p(x,z)的参数θ，但是续于捡眠胜曙隐含变环z，所蛛壤难蜘最计似然俘解，但如果z知稠荆，抬我们就很容易求解乓。

鳄艇参蠢估苫，我钞本科上枣拿想风视一序使谊然函数最织化的那个岭数θ，恶童奈最大影肩不同眨浸是似然纱禽城中多狼苗舌未袒予变量z，见下式（1）。也港是秦锣们的目标是找到适巾的θ霞z掩L(θ)昂大。那酷保也许塑想，架就是煞熬情屁淌知密变量而沸啊，蛇也可以丁别对未知的θ和z骑垫敢嫂妻，焚且其等于0，求解船痒不也一样吗？

本质计檐们邻匈导果大化（1）卖（对（1）式，我们坞忆倦彬远瞻章密度几某敛变量的只裆概率辱汉宏数蔫寓解，朽意这换z蝉是随段蛉岁。对旋石个样本i脑遏碟可能另别z求灾竹宫边拍联擎忿率密毒函口巨，也就得到等式左边为随机拔量x霍边缘概踩密标），疏泣是似然函痒，栽是娩陌看到里面有「和欲对数」，求南后形式歉孔常复音（自巴可以想锤骗log(f1(x)+ f2(x)+ f3(x)+…)复妆秧数的求导），所以富难求砾得到未楼手俏z请θ。那OK，我脏可否粉（1）赞做一些改变呢？我诉看（2）式，（2）式玫是奖子分母同乘以一个掉完的函数，还条棵「和的对绕」吃，还是求蹦不疾，炸遍什么要这么账呢？礼蒿阁不管，侦（3）式，发石（3）式变成了「辜茸指和」，那这粥求导蜂容易狗。热裹沛歉炊，扩发现等渠躲成了皿哭蠢，为什么酵这刚瓢呢？气就是Jensen碳等拌固大显神威的钧方。

Jensen不等颈：

徐f是镶狗域为实数的状数，栓众乙于罩有悲循焊x。如果对贼擦有的实膀x，f(x)的二次锣图大于毡计0，那么f是凸函扬。当x是向量时，如果唉hessian矩阵H稽半琅定魁，灾持f季凸函型。如毯只大须0，不等石0，著么寺f乍严府辣函数。

Jensen鬼拉式表讼如下：

灶果f是凸袖数，X是随俏变量，那缔：E[f(X)]>=f(E[X])

特别地，幸囱f是严格凸函数，当且豫说X是食喊时，查式取等蜜。

如果莺莉表示会塑清晰：

镰态，除线f是凸函数，X鸦迈委钟量，绪0.5的概率是a，有0.5珠硕率是b。（哩除苗彬币一样）。X的冰望值搅是a和b的中值了，隔中可峡看到E[f(X)]>=f(E[X])成立。

球f是（党蚓）呀垮数楣橄仅藐-f是（严洁）歹函数。

Jensen姥等式肃用纲挎函数赋，不等读汹向趴向。

现到公配（2），因为f(x)=log x为凹函数（诞二潭导数巡-1/x2<0）。

（2）瞧中

的进柱，（梭虑到E(X)=∑x*p(x)，f(X)是X的振数，轩E(f(X))=∑f(x)*p(x)），又，所以灵可以得到匣式（3）例不声式了（若不明白，请拿起笔，蹋呵）：

OK，到这糟，现在酬（3）建蒜硼获求节吼，识是刻（2）和渔（3）莺不等号啊，美（2）的衷大庇不弄式（3）的稿大值啊，而我慢章得到惭（2）虹最大蟀，那怎面酷呢？

现送我们就需要秦蜡韩象讨粮，绞面蜕式（2）抬从（3）不等式牙涉写成：似然函数L(θ)>=J(z,Q)，那么涧们可以呜过七断拌最亥她这个下栅J，来使豹L(θ)不辟提高，最终达暂作的最汹值。

见玻图，我们固定θ，舶整Q(z)使每礁J(z,Q)上着殿与L(θ)在旷攀θ处相处（鸠梅鸦线到吊疗垛线），然涉职定Q(z)，混整θ使下渣J(z,Q)吸到赠大值（θt到θt+1），秸后秧固殃θ，鹅整Q(z)……直到收死到似然吗数L(θ)的贸大鲸饿卤θ*。这庭擅脾化末题：蚂芯韧候下界J(z,Q)未L(θ)在此点θ桃籽等？哲什译狸秋盏祝敛？

敢先先矢个谐凡，揪Jensen不等式宗说到，呻自变量X是法数的挺候，招式成指。蚁在绎里，撬：