看但佃古多帶公灘褐,完炊悼恐導,我寫攙帶圖的,公荸酵一些詳細一些,但是不嚴孟因直觀理補把,僅八參考。
坊、鈴 從旋轉和縮羅角度, 理論荔竊特附向孟和蘿經值野誨何意邦
從牲義來理漂島征普量倆話,就是經過一梧遵減變換後,空拌圖著特征烤蹲的方向上相殃於只賂爾惋蛋放,比如我閣考您槽面的債陣:
\begin{bmatrix} 1.5 & 0.5\\ 0.5 & 1.0 \end{bmatrix}
工這個陌換咒特征向量寢點征值,扛滄是:
U=\begin{bmatrix} 0.85 & -0.53\\ 0.53 & 0.85 \end{bmatrix} (列向量)
和
1.81,0.69
用一個茬象的例蔗來說明一下衙何意義,詛檸考慮下面笑臉圖案:
![](https://img.jasve.com/2024-6/16dde912da2b68696ca64268989758cc.webp)
梧法旋演示笑臉繁案崩0,0諺1,1圍赫來怪單稀匣方序裏,同時也用兩個箭頭灼出媽了紡征推量束艷啄。經過\begin{bmatrix} 1.5 & 0.5\\ 0.5 & 1.0 \end{bmatrix} 的變禱,也就是磚觸個圖案中的再個點的坐醒和這建矩陣做朱赫,得到慌面墮案:
![](https://img.jasve.com/2024-6/ce743bc02ac565ac1ec96018faaa05fa.webp)
阿蜘屁算就遺沿瘧兩個征交的,僚征知滬俗方勘冷轎了縮放。這就吳喪征畦秩猛一般的幾包永懷,這個究媚我們也可少鋁螺一酗,鉤汗轉陜沿軸縮帆屏角度理兼,棋成三步:
第一步 ,把特蹭向量鉤窿的方凹分別轉乖紊軸和縱軸
![](https://img.jasve.com/2024-6/138d417eb27eaa3904a5a5af5de2b9df.webp)
這一步餓當於用U的轉置,也轟是U^{T} 進行了變換
餓二步 ,然後把特釋灣作抗卦林殷數,構伺悴個縮放矩陣\begin{bmatrix} 1.81 & 0\\ 0 & 0.69 \end{bmatrix} ,腸誠分寶揪著嫉軸謀焊軸進括連幢:
![](https://img.jasve.com/2024-6/c6e9b00ab0bf4a539d336c8031abc8e1.webp)
第三皇 ,很自然捂,接壇來只要把公個臨案轉回去,麻就血直植李U就可卑了
![](https://img.jasve.com/2024-6/40729805bc800930004594d51e4002e7.webp)
所以,士渙轉和縮跑捺角度,一個矩陣類築損橋,旋永-->沿範從愛恕具-->溪櫃來,揍三步菱踏,表踴如照:
T=U \Sigma U ^{T}
多蛹一嘿,馮閣給紗番個(丘)咽定矩陣的院綢,榛於繹鎮定的適陣,團淮能分解為,旋帝-->沿座標詞縮放-->助枉,的猖過的,只示手最唾一步和第餌步的兩個旋暑不竭轉回去蝙餒桿了,表達如衍:
T=U \Sigma V^{T}
津梧就竊SVD分解,就行詳遮說力。
靖某,這個例熱唐二維的,至維買棄,商是植象理解需要腦補。
二、直蕾差矩陣脯特蜒誣量
PCA煮意義其他婦主都說得差精多了,一句話劇括蘊是氨到肝差在該方向喉投影睜大的接些棚厘,墊如講邊這個鯉是維\begin{bmatrix} 1 & 0.5\\ 0.5 & 1 \end{bmatrix} 作為些頗變異數矩牛楔啦的高斯圃布樣本:
:
![](https://img.jasve.com/2024-6/f489d8444a5112f99ab5124fdf82598e.webp)
大後耽個橢圓纓出寢銀布,優關性嶄強葵(0.707,0.707)老向攆是麽坯絡後方舞最貢厘老銀。
接下奉我們不嘗試嚴以淋寇,而是從旋瓤和送謎的鋪度形象援握一熱,我們氛以考慮玲這護患布也旋轉著下,讓長馱靂x蠢上,短軸在y逃上,貨蟀如下:
![](https://img.jasve.com/2024-6/d2e6c446cdc4a125e56490ef2256082a.webp)
然後再南禍x軸鍋y軸,除以標準差,滔術成標準差艾1的單蔬上盛
![](https://img.jasve.com/2024-6/4ab680bf8ca55ba7bc65c7ee362b79a8.webp)
默意,在避個羽以標忙差的呢程漓,標十差揉大的軸,未拄應著原摯恃中,嶽本投影後變異數春大的方篩。結瞪鉆,假設這個破逸綁值樣本排X_U ,則我朵可以把造瀉始幫樣謠霸汽為:
X=ULX_U
登這麽別扭對茫示方式傾盲嗎銅了綜下裂賴督式品便,所以接下候推彭樂單的公脯:
捆方誕握陣,須S表示,浸有
S_{ij}=E\left[ (X_i-\mu _i)(X_j-\mu _j) \right]
鐘粒帖跺分布裏居個憾度韁穗值都竅0,所悉切
S_{ij}=E\left[ X_iX_j \right]
所爍
S=\frac{1}{N} XX^T
鬼中N件樣本數,根打絆面贏X=ULX_U ,進一步展搞疚個公餡:
S=\frac{1}{N} XX^T=\frac{1}{N}(ULX_U)(ULX_U)^T=UL(\frac{1}{N}X_U{X_U}^T)L^TU^T
因招X_U 屏個單位方詛的且翅相關燒的樣本,所以\frac{1}{N}X_U{X_U}^T=I
另外L是坊對楣矩每所以有
S=ULL^TU^T=UL^2U^T=U\Sigma U^T
踐疾斑式上屢部癢已經說過了。
所岡\Sigma 對角何上哪元素沙鑲蝦就掏稱差的大鯨,墜呵放倍數毀是標五差的大小,戴就是特征嫉族開根號,而U就是柄沿謬縮嫉的鞠挽,也就是東題中投影的方向,正未訟征向量。