作者smartsnake (每天每天)
看板Statistics
标题[问题]作PCA之前 数据要先转化成常态分布吗?
时间Sun May 25 14:35:50 2008
论文中的数据 是一群青蛙的22个长度特徵测量值
伟大的教授 要我用normal distrubution plot检查数据
如果不符合常态 就要试试看取log 或是倒数 或是OOXX...
但是我翻多变量分析课本 PCA并没有要求要常态分布
也没有看到别人的论文 作PCA之前先转换数据
但是老板非常的坚持!!= =
请问板上有人对PCA有经验吗?
是大家的数据都是常态吗?
然後统计学课本也认为是基础观念所以没有提吗?
--
歹年冬
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.120.240.69
1F：推 PPierce:你资料的变数单位不同时 ex:长度 重量...当然要正规化啦 05/25 15:04
2F：→ PPierce:就算单位相同 测量基准也有可能不同 正规化是最保险的 05/25 15:05
3F：→ PPierce:多做一道手序可以更严谨 有益无害当然做啊 05/25 15:05
4F：→ PPierce:多变量的书怎麽可能没写资料的Pre-treatment? 要先整理吧 05/25 15:07
5F：→ PPierce:可能用mean-corrected或是standardize去做先处理.... 05/25 15:07
6F：→ PPierce:还有多变量即为一般GLM的一种 所以统计三大假设一样要服从 05/25 15:09
7F：→ PPierce:1.资料来自多变量常态母体 2.同质 3.样本随机 05/25 15:10
8F：→ PPierce:建议你看SHARMA的那本多变量 有中译本(吕金河教授译) 05/25 15:12
书上说 变数单位不同时 (如身高、体重)
要将covariance matrix(S矩阵) 改为correlation matrix(R矩阵)作标准化
而PCA的目的 是将"多个有相关的变数 简化成少数几个相互独立的变数"
让受测者显现出最大的个体差异
如果为了要求常态分布 自己把变数取log或是倒数...
会不会 反而 违反了主成分分析目的(显现整群的"最大个体差异")呢?
另外书上的其他例子 像是物价指标 (23个城市的五种食物价格)
用normal distrubution plot检查 PPCC值也没有达到0.99
另外 多变量课本中的其他分析 像是 判别分析(discriminal analysis)
对於母体是否常态 就有明确的要求
如果主成分也要求常态的话 应该会写吧??@@
另外 谢谢你推荐的书 我在马上去书店找找
ps 我用的是 陈顺宇的多变量分析
※ 编辑: smartsnake 来自: 140.120.240.69 (05/25 20:36)
9F：推 onionsteven:最大差异的线性组合应该不会因为log转换有所改变吧 05/25 21:53
10F：推 PPierce:陈顺宇那本前面少了一些资料处理和变数分类的基本介绍 05/25 22:18
11F：→ PPierce:直接进入到主成分分析会有点没头没尾 不过应该第一章後面 05/25 22:18
12F：→ PPierce:的重点整理或是内容有略为提到 有些甚至放在FA的章节里 05/25 22:19
13F：→ PPierce:还有....如果做了正规化後 还需要担心资料是否为常态吗XD 05/25 22:20
14F：→ PPierce:就直接Normailized最方便 不用取log或box-cox转换之类.... 05/25 22:21
15F：→ PPierce:PCA利用利用转轴让变异最大 即使你做资料转换不影响吧 05/25 22:23
16F：→ PPierce:Normalized..打太快抱歉 05/25 22:24
17F：→ PPierce:吕老师翻译那本的不错 陈老师写的也很完整 可以交互参照 05/25 22:26
18F：→ PPierce:推荐这两本拿来当工具书(虽然两位都当过我) 看熟就很强了 05/25 22:26
19F：推 yhliu:"看过就很强"? 可惜你的话完全没有说服力! 基础观念加强吧! 05/26 22:43
20F：推 PPierce:学生写的哪里有问题 老师请指教吧 我没看熟所以不强sorry 05/27 00:46
21F：推 PPierce:我写的内容就是sharma本前面提到的 有错请指教吧 05/27 00:48