作者smartsnake (每天每天)
看板Statistics
標題[問題]作PCA之前 數據要先轉化成常態分布嗎?
時間Sun May 25 14:35:50 2008
論文中的數據 是一群青蛙的22個長度特徵測量值
偉大的教授 要我用normal distrubution plot檢查數據
如果不符合常態 就要試試看取log 或是倒數 或是OOXX...
但是我翻多變量分析課本 PCA並沒有要求要常態分布
也沒有看到別人的論文 作PCA之前先轉換數據
但是老闆非常的堅持!!= =
請問板上有人對PCA有經驗嗎?
是大家的數據都是常態嗎?
然後統計學課本也認為是基礎觀念所以沒有提嗎?
--
歹年冬
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.120.240.69
1F：推 PPierce:你資料的變數單位不同時 ex:長度 重量...當然要正規化啦 05/25 15:04
2F：→ PPierce:就算單位相同 測量基準也有可能不同 正規化是最保險的 05/25 15:05
3F：→ PPierce:多做一道手序可以更嚴謹 有益無害當然做啊 05/25 15:05
4F：→ PPierce:多變量的書怎麼可能沒寫資料的Pre-treatment? 要先整理吧 05/25 15:07
5F：→ PPierce:可能用mean-corrected或是standardize去做先處理.... 05/25 15:07
6F：→ PPierce:還有多變量即為一般GLM的一種 所以統計三大假設一樣要服從 05/25 15:09
7F：→ PPierce:1.資料來自多變量常態母體 2.同質 3.樣本隨機 05/25 15:10
8F：→ PPierce:建議你看SHARMA的那本多變量 有中譯本(呂金河教授譯) 05/25 15:12
書上說 變數單位不同時 (如身高、體重)
要將covariance matrix(S矩陣) 改為correlation matrix(R矩陣)作標準化
而PCA的目的 是將"多個有相關的變數 簡化成少數幾個相互獨立的變數"
讓受測者顯現出最大的個體差異
如果為了要求常態分布 自己把變數取log或是倒數...
會不會 反而 違反了主成分分析目的(顯現整群的"最大個體差異")呢?
另外書上的其他例子 像是物價指標 (23個城市的五種食物價格)
用normal distrubution plot檢查 PPCC值也沒有達到0.99
另外 多變量課本中的其他分析 像是 判別分析(discriminal analysis)
對於母體是否常態 就有明確的要求
如果主成分也要求常態的話 應該會寫吧??@@
另外 謝謝你推薦的書 我在馬上去書店找找
ps 我用的是 陳順宇的多變量分析
※ 編輯: smartsnake 來自: 140.120.240.69 (05/25 20:36)
9F：推 onionsteven:最大差異的線性組合應該不會因為log轉換有所改變吧 05/25 21:53
10F：推 PPierce:陳順宇那本前面少了一些資料處理和變數分類的基本介紹 05/25 22:18
11F：→ PPierce:直接進入到主成分分析會有點沒頭沒尾 不過應該第一章後面 05/25 22:18
12F：→ PPierce:的重點整理或是內容有略為提到 有些甚至放在FA的章節裡 05/25 22:19
13F：→ PPierce:還有....如果做了正規化後 還需要擔心資料是否為常態嗎XD 05/25 22:20
14F：→ PPierce:就直接Normailized最方便 不用取log或box-cox轉換之類.... 05/25 22:21
15F：→ PPierce:PCA利用利用轉軸讓變異最大 即使你做資料轉換不影響吧 05/25 22:23
16F：→ PPierce:Normalized..打太快抱歉 05/25 22:24
17F：→ PPierce:呂老師翻譯那本的不錯 陳老師寫的也很完整 可以交互參照 05/25 22:26
18F：→ PPierce:推薦這兩本拿來當工具書(雖然兩位都當過我) 看熟就很強了 05/25 22:26
19F：推 yhliu:"看過就很強"? 可惜你的話完全沒有說服力! 基礎觀念加強吧! 05/26 22:43
20F：推 PPierce:學生寫的哪裡有問題 老師請指教吧 我沒看熟所以不強sorry 05/27 00:46
21F：推 PPierce:我寫的內容就是sharma本前面提到的 有錯請指教吧 05/27 00:48