作者coldeye (知其不可奈何而安之若命)
看板Statistics
標題Re: [問題] 這樣對p值的理解，對嗎？
時間Thu Jun 6 04:35:40 2019
最近又看到一名教授對p值寫了以下敘述：
「statistical significance 通常譯成「統計顯著性」，由於significance
也有重要性的意思，所以，也可以譯成「統計重要性」。通常是由p值
（或用希臘字母來表達，臉書打不出來）來決定。它是指：在進行統計檢定
（統計檢驗）時，根據檢驗過程中抽樣的樣本統計後得到的數字，掉到信賴區間之外
（即出錯）的機率。如果p=5%，即是指一百次相同方法（但抽取的樣本不同）統計的
結果，有95次會掉在信賴區間內，有5次會在信賴區間外。所以這裡有很大的不確定性，
第一個是準確值的估計，要先估計一個準確值，但這只是估計，即假設。這個假設
也是用抽樣統計來建立的。第二是信賴區間，一般可能是估計正確值的正負誤差構成的，
如果容忍誤差是3％，那麼它的信賴區間的誤差範圍就有6％，即估計值上下各3％。
最後是顯著性水準本身，一般常用的5％，當然可以更嚴格，但抽樣的樣本就要更大，
也要耗費更多資源去作樣本的調查。
設計5％作為顯著性水準的門檻－－或稱「閾值」－－是長期經驗的結果，
也是社會科學和生醫科學常用的。它的歷史來源，需要追溯，但我沒有去追溯過。
可是，因為它太常用，導致一種錯覺，以為達到「顯著性水準」如p值小於5％，
就算是「驗證」了假設。如大於5％，就算是否證了假設。例如，如果在藥物療物
檢驗上，一次檢驗的結果，沒有達到小於5％的顯著性水準，就結論說該藥物是無效的，
換言之，把p值當成一種「確定性」的指標，那就在科學推論上犯了很大的錯誤：
完全忽略上段所說的三層不確定性！即使把顯著性水準提高，例如拉到1％，
仍然一樣，上文所談的三層不確定性，依然存在。當然，它的不確定性程度會小很多。」
我承認引文有點長。
但我發現這名教授似乎把alpha值(5%)和p值理解成一個東西，
而再把基於觀測值和alpha值而計算得出的信賴區間再拉進來，
最後說有三種不確定性。
他是不是搞錯了很多東西？
※ 引述《coldeye (知其不可奈何而安之若命)》之銘言：
: 看了一篇文章「我們與「顯著」的距離：P值是判斷研究成敗的過時指標嗎？」
: https://www.thenewslens.com/article/117647
: 裡頭有一段話：
: p值是這樣的條件機率：Pr（X>=x0∣H0）=p（x0）
: 公式裡的H0，代表虛無假設的統計模型（statistical model），
: X代表實際資料的隨機變數，x0代表虛無假設統計模型的隨機變數，
: 一般來說X與x0分別指實際資料的平均值與統計模型估計的期望值。
: 請問這段話對X和x0的描述正確嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 84.13.84.136 (英國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1559766942.A.045.html
1F：推 andrew43: 比上次那篇更看不懂了 XD06/06 08:12
2F：→ bmka: 這寫的什麼鬼...06/06 08:13
3F：→ bmka: 直接回...觀念混淆解釋完全錯誤06/06 08:13
4F：推 imaltar: 看不太懂他在講什麼06/06 09:03
看來不是只有我搞不懂他在寫什麼。XD
※ 編輯: coldeye (84.13.73.147 英國), 06/06/2019 21:48:08
5F：→ yuyuyuai: 把p值跟alpha搞混了？06/07 21:48
除了這個，還搞混了很多XD
6F：推 aikotoba: 這篇真的很母湯 一堆講錯06/08 00:59
※ 編輯: coldeye (31.66.109.142 英國), 06/08/2019 01:06:02
這篇跟上篇一樣，也上了關鍵評論網。
https://www.thenewslens.com/article/120318
※ 編輯: coldeye (84.13.88.56 英國), 06/08/2019 17:28:23