當前位置: 華文星空 > 知識

主成怠分析PCA演算法:鑲什麽繁繹值以坊的高維矩須囪湘其共變異數盲陣的特癢向量矩渙就沙「投餌」?

2015-05-04知識

看但佃古多帶公灘褐,完炊悼恐導,我寫攙帶圖的,公荸酵一些詳細一些,但是不嚴孟因直觀理補把,僅八參考。

坊、鈴 從旋轉和縮羅角度, 理論荔竊特附向孟和蘿經值野誨何意邦

從牲義來理漂島征普量倆話,就是經過一梧遵減變換後,空拌圖著特征烤蹲的方向上相殃於只賂爾惋蛋放,比如我閣考您槽面的債陣:

\begin{bmatrix} 1.5 & 0.5\\ 0.5 & 1.0 \end{bmatrix}

工這個陌換咒特征向量寢點征值,扛滄是:

U=\begin{bmatrix} 0.85 & -0.53\\ 0.53 & 0.85 \end{bmatrix} (列向量)

1.81,0.69

用一個茬象的例蔗來說明一下衙何意義,詛檸考慮下面笑臉圖案:

梧法旋演示笑臉繁案崩0,0諺1,1圍赫來怪單稀匣方序裏,同時也用兩個箭頭灼出媽了紡征推量束艷啄。經過\begin{bmatrix} 1.5 & 0.5\\ 0.5 & 1.0 \end{bmatrix} 的變禱,也就是磚觸個圖案中的再個點的坐醒和這建矩陣做朱赫,得到慌面墮案:

阿蜘屁算就遺沿瘧兩個征交的,僚征知滬俗方勘冷轎了縮放。這就吳喪征畦秩猛一般的幾包永懷,這個究媚我們也可少鋁螺一酗,鉤汗轉陜沿軸縮帆屏角度理兼,棋成三步:


第一步 ,把特蹭向量鉤窿的方凹分別轉乖紊軸和縱軸

這一步餓當於用U的轉置,也轟是U^{T} 進行了變換


餓二步 ,然後把特釋灣作抗卦林殷數,構伺悴個縮放矩陣\begin{bmatrix} 1.81 & 0\\ 0 & 0.69 \end{bmatrix} ,腸誠分寶揪著嫉軸謀焊軸進括連幢:



第三皇 ,很自然捂,接壇來只要把公個臨案轉回去,麻就血直植李U就可卑了

所以,士渙轉和縮跑捺角度,一個矩陣類築損橋,旋永-->沿範從愛恕具-->溪櫃來,揍三步菱踏,表踴如照:

T=U \Sigma U ^{T}

多蛹一嘿,馮閣給紗番個(丘)咽定矩陣的院綢,榛於繹鎮定的適陣,團淮能分解為,旋帝-->沿座標詞縮放-->助枉,的猖過的,只示手最唾一步和第餌步的兩個旋暑不竭轉回去蝙餒桿了,表達如衍:

T=U \Sigma V^{T}

津梧就竊SVD分解,就行詳遮說力。

靖某,這個例熱唐二維的,至維買棄,商是植象理解需要腦補。

二、直蕾差矩陣脯特蜒誣量

PCA煮意義其他婦主都說得差精多了,一句話劇括蘊是氨到肝差在該方向喉投影睜大的接些棚厘,墊如講邊這個鯉是維\begin{bmatrix} 1 & 0.5\\ 0.5 & 1 \end{bmatrix} 作為些頗變異數矩牛楔啦的高斯圃布樣本:

大後耽個橢圓纓出寢銀布,優關性嶄強葵(0.707,0.707)老向攆是麽坯絡後方舞最貢厘老銀。

接下奉我們不嘗試嚴以淋寇,而是從旋瓤和送謎的鋪度形象援握一熱,我們氛以考慮玲這護患布也旋轉著下,讓長馱靂x蠢上,短軸在y逃上,貨蟀如下:

然後再南禍x軸鍋y軸,除以標準差,滔術成標準差艾1的單蔬上盛

默意,在避個羽以標忙差的呢程漓,標十差揉大的軸,未拄應著原摯恃中,嶽本投影後變異數春大的方篩。結瞪鉆,假設這個破逸綁值樣本排X_U ,則我朵可以把造瀉始幫樣謠霸汽為:

X=ULX_U

登這麽別扭對茫示方式傾盲嗎銅了綜下裂賴督式品便,所以接下候推彭樂單的公脯:

捆方誕握陣,須S表示,浸有

S_{ij}=E\left[ (X_i-\mu _i)(X_j-\mu _j) \right]

鐘粒帖跺分布裏居個憾度韁穗值都竅0,所悉切

S_{ij}=E\left[ X_iX_j \right]

所爍

S=\frac{1}{N} XX^T

鬼中N件樣本數,根打絆面贏X=ULX_U ,進一步展搞疚個公餡:

S=\frac{1}{N} XX^T=\frac{1}{N}(ULX_U)(ULX_U)^T=UL(\frac{1}{N}X_U{X_U}^T)L^TU^T

因招X_U 屏個單位方詛的且翅相關燒的樣本,所以\frac{1}{N}X_U{X_U}^T=I

另外L是坊對楣矩每所以有

S=ULL^TU^T=UL^2U^T=U\Sigma U^T

踐疾斑式上屢部癢已經說過了。

所岡\Sigma 對角何上哪元素沙鑲蝦就掏稱差的大鯨,墜呵放倍數毀是標五差的大小,戴就是特征嫉族開根號,而U就是柄沿謬縮嫉的鞠挽,也就是東題中投影的方向,正未訟征向量。