作者neutralID (neutral)
看板Statistics
标题[问题] t test vs. chi-sq contingency test
时间Sat Jul 31 23:47:53 2021
各位大大好，在此有个实务运用的问题想请教大家。
我所在为生科领域，实验通常是小样本多次replicates确定有相同趋势後，
才进行统计分析。实验效果的评估常常是"比率"（例如死亡率）。
就我粗浅的认知，比率型资料会用chi-square contingency test。
但实务上，常常是先计算各replicate的死亡率再做independent samples t test。
我个人的意见是，先算死亡率相当於是牺牲掉sample size的资讯得到较少的资料点，
而且"比率"的资料分布其实并不符合t test的假设，
所以t test会比chi-sq test更不易显着。
但实务上却遇到相反的情形。以下是某次实验真实数据遇到的状况。
[基本资讯]
同一个实验设计，用五批不同的鱼各做一次replicate，
分别计算control组与treatment组死亡只数，比较有无差异。
五次数据如下。
replicate 1
control treatment
survive 9 10
dead 2 1
replicate 2（排列法相同）
21 23
4 2
replicate 3
8 9
2 1
replicate 4
10 10
1 1
replicate 5
9 10
2 1
我建议的做法是先做CMH Test，确认五次replicates无显着差异，再合并5 replicates
变成：
57 62
11 6
然後做chi-square contingency test，结果control vs. treatment差异未达显着（
p=0.19)。而同事的做法是计算各replicate死亡率然後做independent samples t test，
也就是先算出：
control: 0.181818 0.160000 0.200000 0.090909 0.181818
treatment: 0.090909 0.080000 0.100000 0.090909 0.090909
再做t test结果有显着（p<.01)。
为了进一步确认，我写了个小程式模拟 death rate = 10% 但两组无差异的状况下，
5 replicates做t test的false positive rate，结果在alpha设定为0.05时，
误判率确实低於0.05。因此我觉得t test得出的显着结论值得采信。
其实若直接观察上述数据会发现control死亡率大於treatment的现象蛮稳定，
估计出来的variance低，也难怪会显着。
现在问题是：
1. 整个研究的其他实验都是用chi-sq test，总不能光只有这个实验report t test。
但t test有显着却不能采用而只能report不显着好像也说不过去。
2. 有什麽理由可说明这个dataset不适用chi-square test？
3. 还是我犯了什麽基本观念的错误？
有劳大家解惑了。谢谢～
--
1F：→ andrew43: 同事的做法完全忽略样本数；就算0活1死n=1也记成100%死 08/01 03:52
2F：→ andrew43: 亡率，怎麽合理？ 08/01 03:52
我有思考过这个问题。实际上n=1, 10, 100, 1000得到的死亡率variance大不相同，
这也会反映到t test的检定结果中。
3F：→ andrew43: 另外，5配对样本检验没有什麽意义。就双尾精确符号检验 08/01 03:59
4F：→ andrew43: 来说，p最小为0.0625，何必检验？ 08/01 03:59
做的不是配对样本，是two-sample t test
5F：→ andrew43: 应该先厘清分次抽样到底是否存在意义，例如不同鱼种或 08/01 04:04
6F：→ andrew43: 产地之类的。思考你的抽样母体到底是什麽。之後再决定 08/01 04:04
7F：→ andrew43: 如何纳入分析。直接加总不一定合适。 08/01 04:04
分次做是不得不然，受到实验准备的限制，例如一次只能容纳10只鱼接受实验刺激。
例如这里考虑是孵化後第24小时的鱼接受刺激後，在第25小时的存活率。
那就会分五天各做一次实验，每次取刚好孵化24小时的20只鱼，
分一半到control，一半到treatment去做实验,其他条件一概相同。
※ 编辑: neutralID (1.200.107.229 台湾), 08/01/2021 10:28:12
8F：→ andrew43: 所以分次可能无实际意义，只不过是不同批次且控制严格 08/01 13:41
9F：→ andrew43: ，可视为独立样本。 08/01 13:41
10F：→ andrew43: 同事的观点视批次为实验区集，却不采用配对样本，不能 08/01 13:44
11F：→ andrew43: 理解。 08/01 13:44
了解。我原本也没意识到用2 sample t会有问题。容我想想。谢谢您提供的见解。
※ 编辑: neutralID (1.200.107.229 台湾), 08/01/2021 20:34:37
12F：→ raiderho: 假如不管论文其他部分, 直接两组各68个样本直接作t-test 08/02 03:12
13F：→ raiderho: 也蛮符合合理的, 结果也是不显着(p=0.20) 08/02 03:13
14F：→ raiderho: 同事作法真正问题是, 完全浪费样本数的资讯, 原本有136 08/02 03:14
15F：→ raiderho: 个binary样本, 被硬生生弄成只有10个样本, 资讯少更多 08/02 03:14
16F：→ raiderho: 而且, 这10个数字因为取样小又不定, 数字没有办法很稳定 08/02 03:15
17F：→ raiderho: 所以, 不难想像想想, 在两组同分布的样本, 可以因为切分 08/02 03:18
18F：→ raiderho: 的不同, 只看批次切分的结果, 反而有统计性差异 08/02 03:19
19F：推 raiderho: 讲更具体一点, 把第三次和第五次控制组的一只死鱼给第二 08/02 03:27
20F：→ raiderho: 次，而第二次各拿一只活鱼给第三次和第五次，这样 08/02 03:28
21F：→ raiderho: 控制组变为 .181818, .24, .1 0.090909, 0.090909，但是 08/02 03:29
22F：→ raiderho: p上升为0.14，这显示出，这种统计手法的分析不稳健 08/02 03:30
这我同意。其实要用统计说服一般人"看到的只是巧合"本来就不容易，
更别说还做了t test发现有显着，连我都忍不住写了模拟程式来验证。
我想我的模拟可能设计上有疏忽之处，我再想想怎麽做比较合理。
※ 编辑: neutralID (1.200.107.229 台湾), 08/02/2021 22:39:47
23F：→ andrew43: 各自做一份leave-one-out cross-validation大概足够了 08/02 23:40
24F：→ paladin499: 我怎麽算出来都没有显着 08/09 16:48
26F：→ paladin499: 你同事可能用程式内建的方法算的 可能用错方法算 08/09 16:48
27F：→ winnie0417: 合并5次样品是否损失了一些资讯？假设无差异之下，第 08/19 02:05
28F：→ winnie0417: 一次treat死比较多，第二次也是，3次又是，第4平手， 08/19 02:05
29F：→ winnie0417: 第5次又是treat较多。这样至少不应该是合并计算的p= 08/19 02:05
30F：→ winnie0417: 0.2的答案，一个外行人想法。 08/19 02:05