作者incessantgas (人生胜利组YA)
看板Statistics
标题[问题] 要素分析和主成分分析的目的
时间Thu Sep 23 06:25:56 2021
一般在结构方程式 (Structure Equation Model, SEM)当中，总是可以看到利用Factor
Analysis寻找潜伏变数 (Latent Variable)。但是最近看到一篇文献，作者在SEM模型当
中使用Principle Components Analysis (虽然他并没有说他用的是Latent Variable)。
但是这引起我的好奇心，到底使用Factor Analysis和Principle Components Analysis有
甚麽明显的涵义。
举个例子简单说明Factor Analysis和Principle Components Analysis的区别。假设有两
个观察变数(Observed variables)，x1和 x2。
Factor Analysis:
x1 = f1*L + e1
x2 = f2*L + e2
这里的L是我们想要找的Latent Variable，f1和f2是所谓的loading，相当於回归分析的
系数，e1和e2这相当於回归分析的残差项。
Principle Components Analysis:
f1*x1 + f2*x2 = Y
Principle Components Analysis是透过weights (f1和f2)把观察变数x1和x2合并起来。
一般来说，Factor Analysis和Principle Components Analysis也被视为是一种维度缩减
的工具，也就是说，把x1和x2浓缩成具有代表性L和Y。
所以我的问题是: 为何在SEM当中，大部份只有使用Factor Analysis，较少使用
Principle Components Analysis? 还有这两个工具，除了数学上的不同之外，还有什麽
其他重要的意义?
谢谢大家耐心把问题看完~~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 98.235.233.212 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1632349558.A.D49.html
1F：→ andrew43: 不同之处在网上查大概花三天都看不完吧。举一个，FA转轴 09/23 16:14
2F：→ andrew43: 不同也造成f1/2不同。 09/23 16:15
3F：→ andrew43: 最常见的说法：PCA用於将有相关变数合并至少数重要组成 09/23 16:17
4F：→ andrew43: FA用於检视或检验特定模型下的内部变数 09/23 16:18
5F：→ locka: 请教a大，数学上来说PCA是不是找寻loss最小的轴进行投影？ 09/23 17:29
6F：→ locka: 可以这样解释吗？ 09/23 17:29
7F：→ andrew43: loss function要先指定。 09/23 17:34
8F：→ recorriendo: 你的数学式都写了啊 FA有考虑Gaussian noise 09/23 23:31
9F：→ recorriendo: PCA是直接给最大变异度的方向 不管那个方向是noise 09/23 23:34
10F：→ recorriendo: 还是signal 09/23 23:34
11F：→ recorriendo: 另外如果取两个以上的PC 那麽PCA还加了weight垂直的 09/23 23:35
12F：→ recorriendo: 条件 09/23 23:35
13F：→ incessantgas: @andrew43 & @recorriendo: 同意你们的见解 09/24 00:17
14F：→ incessantgas: FA和PCA在数学表达有很明显的差异，各自的目的也不 09/24 00:18
15F：→ incessantgas: 相同。但还是不明白为何在SEM的架构之下，至少是许 09/24 00:19
16F：→ incessantgas: 多的教科书中，为何多只专注於利用FA找出 09/24 00:19
17F：→ incessantgas: Latent Variable? 09/24 00:20
18F：推 assommoir: 心理测验有个东西叫古典测验理论，认为每个问卷或试题 09/24 10:10
19F：→ assommoir: 都有测量误差，认为潜在构念应是真分数的部分，所以在 09/24 10:10
20F：→ assommoir: 估计对象和pca不同。我的理解pca是直接对相关系数矩阵 09/24 10:11
21F：→ assommoir: 作eigen分解，而fa分解的对象是R-psi, psi是对角矩阵 09/24 10:11
22F：→ assommoir: ，为误差变异。 09/24 10:11
23F：→ recorriendo: 重点是得到的factor/PC在你的理论框架内有什麽意义 09/24 14:07
24F：→ recorriendo: 数学上当然都算得出来 09/24 14:07
25F：→ recorriendo: 正如楼上所说 factor在心里/社会科学代表某个"东西" 09/24 14:11
26F：→ recorriendo: 这是心理/社会科学层面的问题 不是数学问题 09/24 14:11
27F：推 raiderho: 同意楼上，PCA更偏探索性的分析，找到主轴以後再解释为 09/24 18:34
28F：→ raiderho: 何(或者甚至不解释，丢入机器学习模型训练)，但FA的因子 09/24 18:34
29F：→ raiderho: 已经是「事先知道是什麽」才进行测量了，就算是探索式因 09/24 18:34
30F：→ raiderho: 素分析(EFA)，决定的也是因子个数筛选、或用来琢磨潜变 09/24 18:34
31F：→ raiderho: 量概念和因子的关系。至於SEM，是明确所有因子和潜变量 09/24 18:34
32F：→ raiderho: 关系以後，根据领域知识进行潜变量关系的探讨，是验证性 09/24 18:34
33F：→ raiderho: 的分析了。 09/24 18:34