當前位置: 華文星空 > 知識

不同分布的隨機變量的機率密度混合是否有意義?

2021-11-16知識

你說的這個不僅有意義,而且名字就叫混合分布(有限混合分布)。其實回答你的問題關鍵點是數據擴張(data augmentation),而你給的這篇文獻已經很好的提到這一點了,也就是引入 z 。唯一缺失的部份就是怎麽透過 z 來推匯出 y (因為這些推導屬於繁而不難的基礎,所以作者就不想贅述了)。

原始的問題可以這樣描述,一組樣本 y_i 服從回合分布

y_i\sim \left\{\begin{aligned} &f_0, \qquad\text{以$p_0$的機率;}\\ &f_1, \qquad\text{以$1-p_0$的機率.}\\ \end{aligned}\right.

求 y_i 的分布 f 。

數據擴張引入一個服從白努利的潛變量 z_i 滿足 z_i\sim Bernoulli(1-p_0) ,則密度函式為

f_Z(z_i)=p_0^{1-z_i}(1-p_0)^{z_i}

而 z_i 可以用來表示前面說到的「以……的機率」這個東西,就有條件密度函式

f_{Y|Z}(y_i|z_i)=f_0(y_i)^{1-z_i}f_1(y_i)^{z_i}

你可以把 z_i 等於1或者0帶入,看看這個分層結構是不是等價於之前的那個原始問題。然後,把這兩個密度乘起來,就可以得到一個聯合密度函式

f_{(Y,Z)}(y_i,z_i)=f_{Y|Z}(y_i|z_i)f_{Z}(z_i)=f_0(y_i)^{1-z_i}f_1(y_i)^{z_i}p_0^{1-z_i}(1-p_0)^{z_i}

到這裏都沒問題吧,接下來的步驟就很直接了。知道了聯合密度函式,要求邊際密度函式,無非就是把其他變量求和或者積分積掉,即

f_Y(y_i)=\sum_{z_i=0}^1f_{(Y,Z)}(y_i,z_i)

結果正是那個「加權平均」。

混合分布或者混合模型(這裏說的是mixture model,不是mixed model)本來就是一大塊研究方向,比如著名的EM演算法也是用的這個原理。而且,你這還只是離散有限的情況,對於連續混合,這裏的方法同樣適用,不過就是把求和變成積分就行了,即

f_{Y}(y)=\int f(y|z)f(z)dz

最常見的例子比如大家都熟悉的 t 分布——一種特殊的高斯尺度混合分布(Gaussian scale mixture)。