作者saltlake (SaltLake)
看板Statistics
標題[問題] 不同複合假說對相同多重測試的解釋
時間Sun Nov 17 14:07:06 2024
To demonstrate that the new algorithm A is superior to the old
algorithms B, C, and D, three comparison tests were performed.
The results showed that A>B (p=0.009), A>C (p=0.002), and A>D (p=0.04).
The overall significance level was 0.03. The multiplicity was corrected
using the Bonferroni method.
How does one interprete the results if the following tests were
performed, respectively:
(1) union-intersection test,
(2) intersection-union test, and
(3) intersection-intersection test?
根據上述多重測試的設定，整體顯著水準是 0.03/3 = 0.01。所以三個個別
測試的顯著與否如下:
A>B (p=0.009), 顯著
A>C (p=0.002), 顯著 and
A>D (p=0.04), 不顯著
單看上述測試結果，其解釋似乎是:
演算法 A 只比 B 和 C 好，但是無法判定其是否比 D 好--能說不比 D 差嗎?
還是只要不顯著就啥也不能宣稱?
問題是，完整的多重假說測試應該要考慮整體假說的不同(內容)類型去詮釋測試
結果(?)
那麼在上述三種不同類型的整體假說下，怎樣個別詮釋上面所得的測試結果?
(一) 聯交集測試
整體零假說和代假說分別為不大於的交集和大於的聯集，因而要拒卻整體零假說
需要滿足至少有一個個別測試是統計顯著的大於。
上述測試結果滿足此要求，故可拒卻整體零假說而接受代假說，從而應解釋為:
測試結果證實新算法至少大於一個老算法。
(二) 交聯集測試:
整體零假說和代假說分別為不大於的聯集和大於的交集，因而要拒卻整體零假說
需要滿足所有的個別測試都是統計顯著的大於。
顯然測試結果不合要求，故不可拒卻整體零假說而接受代假說，從而應解釋為:
測試無法推翻(或否證)新算法至少不大於一個老算法…嗎?
(三) 交交集測試:
整體零假說和代假說分別為不大於的交集和大於的交集，因而要拒卻整體零假說
需要滿足所有的個別測試都是統計顯著的大於。
顯然測試結果不合要求，故不可拒卻整體零假說而接受代假說，從而應解釋為:
測試結果無法推翻(或否證)新算法全都不大於那三個老算法…嗎?
(四) 是否能夠或如何設計整體零假說與代假說，使其測試結果能得到和個別測試
的結果相同的解釋?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.207.45 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1731823628.A.8CC.html
※ 編輯: saltlake (114.36.207.45 臺灣), 11/17/2024 21:08:37
※ 編輯: saltlake (114.36.207.45 臺灣), 11/17/2024 21:11:16
1F：推 jasonfun44: 演算法不會這樣檢定，也不是這樣用，這樣沒什麼意義 11/28 07:17
2F：→ yhliu: 重點不是 "演算法", 而是統計假說檢定. 不過, 我所學太淺, 12/13 09:30
3F：→ yhliu: 沒學過 intersection-intersection test. 12/13 09:31
這個是在美國聯邦食藥局關於搭配基因測試的藥品的規範看到的。
現在有些藥品服用前要先對患者做基因檢測之後，再挑選針對特定基因形式的
患者需要的藥品。
這時候官方要求臨床試驗通過交集-交集測試(IIT)，亦即:
整體虛擬假說: 對每一個基因測試都顯示藥品無效
對立 : 有
4F：→ yhliu: 如果個別檢定顯著水準都是 0.01 的話, UI檢定會拒絕聯合的 12/13 09:33
5F：→ yhliu: 虛無假說, 意謂 A>B, A>C, A>D 並非全部成立; 12/13 09:34
6F：→ yhliu: IU檢定不拒絕虛無假說,意謂 A>B,A>C,A>D 至少一個成立. 12/13 09:36
7F：→ yhliu: 上面錯了...UI test 的結果是 A>B or A>C or A>D 不被接受 12/13 09:39
8F：→ yhliu: 唉! 又弄錯了, H0i 應是 A<=B, A<=C, A<=D, UI test 的結果 12/13 09:42
9F：→ yhliu: 是三個虛無假說並非全部成立, 所以 A>B or A>C or A>D 至少 12/13 09:43
10F：→ yhliu: 一個成立; 而 IU test 的結果是 A>B, A>C, A>D 並非全部成 12/13 09:44
11F：→ yhliu: 立, 因為 A<=B, A<=C, A<=D 至少一個成立. 12/13 09:45
12F：→ yhliu: 根據顯著水準0.01做個別檢定建構的 UIT 符合顯著水準0.03, 12/14 15:53
13F：→ yhliu: 而IUT的顯著水準是0.01. 12/14 15:54
A>D (不顯著) 和
A<=D (不顯著) 會影響對結果的詮釋嗎?
※ 編輯: saltlake (114.36.244.51 臺灣), 12/16/2024 13:28:27
14F：→ yhliu: "A>D 不顯著" 就是不能拒絕 "A<=D" 這個虛無假說。 12/17 07:56