作者incessantgas (人生勝利組YA)
看板Statistics
標題[問題] 要素分析和主成分分析的目的
時間Thu Sep 23 06:25:56 2021
一般在結構方程式 (Structure Equation Model, SEM)當中，總是可以看到利用Factor
Analysis尋找潛伏變數 (Latent Variable)。但是最近看到一篇文獻，作者在SEM模型當
中使用Principle Components Analysis (雖然他並沒有說他用的是Latent Variable)。
但是這引起我的好奇心，到底使用Factor Analysis和Principle Components Analysis有
甚麼明顯的涵義。
舉個例子簡單說明Factor Analysis和Principle Components Analysis的區別。假設有兩
個觀察變數(Observed variables)，x1和 x2。
Factor Analysis:
x1 = f1*L + e1
x2 = f2*L + e2
這裡的L是我們想要找的Latent Variable，f1和f2是所謂的loading，相當於迴歸分析的
係數，e1和e2這相當於迴歸分析的殘差項。
Principle Components Analysis:
f1*x1 + f2*x2 = Y
Principle Components Analysis是透過weights (f1和f2)把觀察變數x1和x2合併起來。
一般來說，Factor Analysis和Principle Components Analysis也被視為是一種維度縮減
的工具，也就是說，把x1和x2濃縮成具有代表性L和Y。
所以我的問題是: 為何在SEM當中，大部份只有使用Factor Analysis，較少使用
Principle Components Analysis? 還有這兩個工具，除了數學上的不同之外，還有什麼
其他重要的意義?
謝謝大家耐心把問題看完~~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.235.233.212 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1632349558.A.D49.html
1F：→ andrew43: 不同之處在網上查大概花三天都看不完吧。舉一個，FA轉軸 09/23 16:14
2F：→ andrew43: 不同也造成f1/2不同。 09/23 16:15
3F：→ andrew43: 最常見的說法：PCA用於將有相關變數合併至少數重要組成 09/23 16:17
4F：→ andrew43: FA用於檢視或檢驗特定模型下的內部變數 09/23 16:18
5F：→ locka: 請教a大，數學上來說PCA是不是找尋loss最小的軸進行投影？ 09/23 17:29
6F：→ locka: 可以這樣解釋嗎？ 09/23 17:29
7F：→ andrew43: loss function要先指定。 09/23 17:34
8F：→ recorriendo: 你的數學式都寫了啊 FA有考慮Gaussian noise 09/23 23:31
9F：→ recorriendo: PCA是直接給最大變異度的方向 不管那個方向是noise 09/23 23:34
10F：→ recorriendo: 還是signal 09/23 23:34
11F：→ recorriendo: 另外如果取兩個以上的PC 那麼PCA還加了weight垂直的 09/23 23:35
12F：→ recorriendo: 條件 09/23 23:35
13F：→ incessantgas: @andrew43 & @recorriendo: 同意你們的見解 09/24 00:17
14F：→ incessantgas: FA和PCA在數學表達有很明顯的差異，各自的目的也不 09/24 00:18
15F：→ incessantgas: 相同。但還是不明白為何在SEM的架構之下，至少是許 09/24 00:19
16F：→ incessantgas: 多的教科書中，為何多只專注於利用FA找出 09/24 00:19
17F：→ incessantgas: Latent Variable? 09/24 00:20
18F：推 assommoir: 心理測驗有個東西叫古典測驗理論，認為每個問卷或試題 09/24 10:10
19F：→ assommoir: 都有測量誤差，認為潛在構念應是真分數的部分，所以在 09/24 10:10
20F：→ assommoir: 估計對象和pca不同。我的理解pca是直接對相關係數矩陣 09/24 10:11
21F：→ assommoir: 作eigen分解，而fa分解的對象是R-psi, psi是對角矩陣 09/24 10:11
22F：→ assommoir: ，為誤差變異。 09/24 10:11
23F：→ recorriendo: 重點是得到的factor/PC在你的理論框架內有什麼意義 09/24 14:07
24F：→ recorriendo: 數學上當然都算得出來 09/24 14:07
25F：→ recorriendo: 正如樓上所說 factor在心裡/社會科學代表某個"東西" 09/24 14:11
26F：→ recorriendo: 這是心理/社會科學層面的問題 不是數學問題 09/24 14:11
27F：推 raiderho: 同意樓上，PCA更偏探索性的分析，找到主軸以後再解釋為 09/24 18:34
28F：→ raiderho: 何(或者甚至不解釋，丟入機器學習模型訓練)，但FA的因子 09/24 18:34
29F：→ raiderho: 已經是「事先知道是什麼」才進行測量了，就算是探索式因 09/24 18:34
30F：→ raiderho: 素分析(EFA)，決定的也是因子個數篩選、或用來琢磨潛變 09/24 18:34
31F：→ raiderho: 量概念和因子的關係。至於SEM，是明確所有因子和潛變量 09/24 18:34
32F：→ raiderho: 關係以後，根據領域知識進行潛變量關係的探討，是驗證性 09/24 18:34
33F：→ raiderho: 的分析了。 09/24 18:34