※ 引述《x565x (把握當下)》之銘言： : 先解釋一下，「期望值」是因為我不太確定這個狀況是否可以這樣解釋，所以先 : 括弧起來，請高手協助解惑。 : 問題是這樣： : 假設有100篇使用t-test的研究（先想像成都是很單純地做一個實驗介入然後比較 : 差異性的研究），而其alpha值都設定為.05，則發生型1錯誤的「期望篇數」是否 : 是5篇？ 似乎好像是。 所以若同時有100個相同的研究被執行 達到顯著的研究數如果只在5個附近 那我們幾乎可以說 這個研究假設 是難以被支持的 一個真正有效果的研究被執行 會達到顯著的機會 肯定要遠大於5% 這好像也就是 power要遠大於alpha的意思 從統計的假設考驗來看 power的最小值就是alpha 即所有顯著都是錯誤的顯著，這代表H0 H1兩分配重合 完全沒差異的情況 才會造成power=alpha : 會想問這個問題是因為我們看很多實驗設計都會使用t-test去做驗證，在這麼龐大 : 的科學研究世界中，有這麼多篇（遠超過100篇）都使用t-test，而其alpha值也都 : 設定為.05（先都想像成大家都很有良心沒有去操弄），那這樣是否代表... : 別說人為操弄或實驗上的誤差，其實光因統計上犯的錯就夠多了？ 沒錯 統計的錯 還包括 統計假設(常態母群、變異數同異、獨立性)是否符合假設 另一層是 測量資料的問題 測量資料本身通常也有信效度的問題 更嚴重是等距量尺的問題，很多資料並非等距量尺 但也被拿來做母數統計分析 再者 就是實驗操弄、標準化的問題 也可能會有誤差存在 以及 很多沒顯著的研究都不會發表 通常有顯著的研究才會發表 這更容易造成 type1error 絕對比宣稱的5% 還要大的多 我們總結來看一個研究有三層誤差存在 1 純統計推論誤差 2 資料測量誤差 3 研究執行與操弄誤差、是否很多人做類似的研究 所以 我再次重申 我個人的心得結論 只要同時具備以上三種可能的誤差 所有 研究剛過.05的顯著水準 都不可信 我認為 至少要過.01 才具有一定的可靠性。 我看研究都是這樣看 什麼 .07 .06 .05 .04 .03 .02的p-value 我都覺的 可靠性是不足的 不過這也屬我個人的主觀解釋 但當然 我們也不能因為 這樣的p-value就咬定不夠顯著 而抹煞整個研究 顯著性還有其他的問題 待釐清 比如樣本數的大小、power、effect size效果的強弱 等等 但是 必須切記 所有研究都是建立在機率的角度上 沒有什麼是絕對一定的事。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.43.248.214 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1454815178.A.197.html ※ 編輯: circlelee (114.43.248.214), 02/07/2016 11:25:54