作者Kinght (￣▽￣)
看板Statistics
标题[问题] 卡方独立性检定 细格有0
时间Tue Aug 30 15:31:07 2011
拜托不要看到标题就先推Yate's Correction for Continuity或
Fisher's exact probability test
说来惭愧 接触统计将近8年…
最近才听说卡方检定中细格不能有零这件事Orz
上网google 「卡方 0」也只有看到一笔资料有提到
而且只剩库存页面…
资料有几个变项 有很多的变数 虽然样本有超过2000
但是因为资料的特性 往往有一个变项很大 但是其他细格都是0
例如
甲 乙 丙 丁 戊 己 庚
A 280 1 10 0 0 0 2
B 12 5 0 380 5 3 1
C 0 181 3 1 0 2 5
D 1 3 0 21 89 40 20
E 9 20 18 50 150 0 0
类似这样的状况
如果并项到没有0
1.会让特徵消失 2.变项太少失去解释意义 3.Cramers’V变小
请问有什麽方法解决吗？
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 163.29.135.126
1F：推 gsuper:我也想问这问题 我的资料是上千笔 3*2 table , 一旦部分资 08/31 02:00
2F：→ gsuper:料并项 整体的算法就不统一..很苦恼 08/31 02:01
3F：→ bmka:那为什麽不用Fisher's exact test? 08/31 09:44
4F：→ bmka:你知道为什麽要避免small cells吗? 08/31 09:46
5F：→ Kinght:Fisher's是"期望值"小於5 因为会让检定值变高 08/31 12:30
6F：推 laba1014:请问有甚麽ref.提到细格"观察值"不能为0的限制? 08/31 14:20
7F：→ laba1014:大部分书提到的只有对"期望值"的限制不是吗 08/31 14:21
8F：→ bmka:Kinght大你记错了,那不是Fisher exact的限制 08/31 19:13
9F：→ bmka:主要原因也不是检定值(mistaken for power?) 的问题 08/31 19:14
10F：→ bmka:引一段 R. A. Fisher在书里讲的话 08/31 19:22
11F：→ bmka:"The treatment of frequencies by means of chi-square is 08/31 19:23
12F：→ bmka:an approximation, which is useful for the comparative 08/31 19:23
13F：→ bmka:simplicity of the calculations. The exact treatment is 08/31 19:23
14F：→ bmka:somewhat more laborious, though necessary in cases of 08/31 19:24
15F：→ bmka:doubt.” -- Statistical Methods for Research Workers 08/31 19:24
16F：→ bmka:他这里指的statement of doubt就是"期望值"小於五 08/31 19:26
17F：→ bmka:这种情况下chi-square test statistic"很可能"不是卡方分布 08/31 19:27
18F：→ bmka:(修正,"很可能"长得不像卡方分布, chi-sq test 只是 08/31 19:29
19F：→ bmka:approximation test) 08/31 19:29
20F：→ bmka:所以,不好意思,还是请你用Fisher exact test吧 08/31 19:42
21F：→ yhliu:5×7 table, 要做 exact test? 不知多少时间能算出来? 08/31 21:20
22F：→ yhliu:卡方检定是近似检定方法, 是基於多变量中央极限定理而来的. 08/31 21:20
23F：→ yhliu:因此, 有 "cell 期望次数至少为 5" 的要求. 但有两个方向的 08/31 21:21
24F：→ yhliu:数值研究结论: 一是说对於大型的表, 只要期望值小於5的 cell 08/31 21:22
25F：→ yhliu:数比例不太高, 而所有 cell 期望值都在 1 以上, 马马虎虎啦! 08/31 21:23
26F：→ yhliu:另一结论说: 即使各细格期望值都在5以上, 但若各细格期望值 08/31 21:24
27F：→ yhliu:相差太悬殊, 卡方近似还是有疑问的. 08/31 21:25
28F：→ yhliu:至於 cell observations 是 0 的问题, 很久很久以前看过一篇 08/31 21:26
29F：→ yhliu:文章, 大意上是说 cell observation 为 0, 则 "残差" 只能是 08/31 21:27
30F：→ yhliu:负的, 不能是正的. 好像因此作者建议调整自由度吧?....不过, 08/31 21:28
31F：→ yhliu:事隔太久记忆不一定真实, 也就是作者是否以调整自由度的方法 08/31 21:29
32F：→ yhliu:对付, 我无法肯定. 原文出处也没有印象了. 08/31 21:30
33F：→ bmka:y大第一点指的是这篇 Koehler and Larntz (1980). An 08/31 21:48
34F：→ bmka:An empirical investigation of goodness-of-fit statistics 08/31 21:49
35F：→ bmka:for sparse multinomials. JASA, 75, 336-344. 08/31 21:49
36F：→ bmka:至於5X7的fisher exact 对现在的电脑来说算是小case啦 08/31 21:50
37F：→ bmka:如果是更大的table,R的function里面还有用simulation来 08/31 21:53
38F：→ bmka:得到p-value这个选项(真的想省时间的话) 08/31 21:53
39F：推 gsuper:推一个 09/01 02:54
40F：→ Kinght:所以bmka大认为"即使细格有0 只要期望值<5的格数少於20％ 09/01 08:48
41F：→ Kinght:仍不用做Fisher exact test"? 09/01 08:49
42F：→ bmka:我的中文有那麽差吗....请多爱用Fisher's exact test. 09/01 11:11
43F：→ Kinght:所以你只是来推广Fisher exact test？ 09/01 15:41
44F：→ ADORIAN:b 大是说放心使用 Fisher's exact test 09/01 19:38
45F：→ bmka:谢谢A大翻译 :) 09/01 19:57