作者coldwind0912 (随风而逝~)
看板Statistics
标题Re: [问题] 交互作用 负负相乘的问题
时间Sat Oct 9 22:56:31 2010
1F：→ bmka:y大, 那你最好检查一下你的程式10/09 19:44
2F：→ bmka:sorry, 是 c大10/09 19:45
3F：→ bmka:BTW, 我的建议是 X1,X2,X1*X2各自做centering,不是只有X1X2做10/09 19:47
4F：→ bmka:其实想法很简单, 就是利用centering去处理collinearity(笑)10/09 19:55
5F：→ bmka:(假装不知道它们之间的关系),不过,这只能避免一点计算上的10/09 20:24
6F：→ bmka:小小问题...好处是除了截距项外其他系数不会变10/09 20:31
我想 既然b大有那麽多种的想法 又要追求严谨
只好以我之前一份已经发表的paper里的data 来检验各种在这个讨论串曾提及的模型
以进一步验证 哪些意见是正确的 哪些意见是不严谨的
Model1：Y=b0+b1X1r+b2X2r+b3(X1r*X2r)+a (完全不调整资料的原始模形)
b值 标准误 bata值 t值 显着性 允差 VIF
截距 4.227 1.200 3.522 .001
X1r -.328 .185 -.402 -1.771 .078 .061
16.377
X2r -.069 .203 -.068 -.341 .734 .078
12.764
X1r*X2r .117 .050 .804 2.333 .020 .027
37.699
基本上，在不调整任何资料型态的时候，在回归模式中，置入交互作用项
一定会导致共线性过高的问题，所估计之参数结果应该也是有偏误的。
Model2：Y=b0+b1X1r+b2X2r+b3(X1c*X2c)+a
(自变项不centering，交互作用项由两个自变项centering後的交乘积形成)
b值 标准误 bata值 t值 显着性 允差 VIF
截距 2.503 .914 2.739 .007
X1r .105 .050 .129
2.091 .038 .828 1.207
X2r .398 .066 .392
6.035 .000 .744 1.344
X1c*X2c .117 .050 .136
2.333 .020 .930 1.075
此模式为我个人引注自Aiken和West(1991)，亦是我在这篇发表paper
中的模式，由数据结果来看，与模式一相较，共线性情况明显改善，
估计的参数对研究内容亦有不错的结果发现。
Model3：Y=b0+b1X1c+b2X2c+b3(X1c*X2c)+a
(自变项centering，交互作用项由两个自变项centering後的交乘积形成)
b值 标准误 bata值 t值 显着性 允差 VIF
截距 4.390 .925 4.746 .000
X1c .105 .050 .129 2.091 .038 .828 1.207
X2c .398 .066 .392 6.035 .000 .744 1.344
X1c*X2c .117 .050 .136 2.333 .020 .930 1.075
此模式经P大先前提示，确实也为Aiken和West(1991)所证实之模式，
，由数据结果来看，与模式一相较，共线性情况明显改善；与模式二
相较，除了截距参数不同外，其余参数皆一致。
Model4：Y=b0+b1X1r+b2X2r+b3(X1r*X2r)c+a
(自变项不centering，交互作用项由两个自变项未centering的交乘积形成，
再直接对交互作用项进行centering)
b值 标准误 bata值 t值 显着性 允差 VIF
截距
5.974 1.780 3.356 .001
X1r
-.328 .185 -.402 -1.771 .078 .061
16.377
X2r
-.069 .203 -.068 -.341 .734 .078
12.764
(X1r*X2r)c
.117 .050 .804 2.333 .020 .027
37.699
此模式为b大在原po e大的文章中回文所提到的
"把x1*x2当成另一个变数z, 对新变数做中心化"
虽然不知道引注自何处的观点，但从分析结果可以了解
此模式与模式一相同，共线性问题严重，且与模式二和
模式三相较，截距与其他各估计参数皆不一致。
Model5：Y=b0+b1X1c+b2X2c+b3(X1r*X2r)c+a
(自变项centering，交互作用项由两个自变项未centering的交乘积形成，
再直接对交互作用项进行centering)
b值 标准误 bata值 t值 显着性 允差 VIF
截距 4.413 .926 4.765 .000
X1r -.328 .185 -.402 -1.771 .078
.061 16.377
X2r -.069 .203 -.068 -.341 .734
.078 12.764
(X1r*X2r)c .117 .050 .804 2.333 .020
.027 37.699
※ 原模式五的资料key-in错误，已修正。
此模式亦为b大在先前的回文中，认为我所分析的模式四结果有异，是由於
我误解他的原意所造成，b大认为"X1,X2,X1*X2各自做centering,不是只有X1X2做"
因此，模式五来自於此。
结果显示，与模式一或模式四一样，此模式仍然有共线性的偏误，进一步查验
各估计参数，亦会发现，除截距外，各估计参数与模式四完全相同，但与模式
二和模式三相比更是差异颇大，彷佛完全不同的模式。
总结上述 如同我在前一篇回文最後所言道
中心化是一个操作简单 意义复杂的议题
更不是研究者凭藉个人喜恶 欲对任何变项进行中心化就为之
以上述五个模式而言 模式二和模式三的作法
在SCI&SSCI期刊里 探讨交互作用议题中 广为被接受与引用
也因此奠立了Aiken和West两位学者的学术地位
然而 以量化研究的精神而言
我也不敢太早言断 b大所提及的模式四与模式五是错的
顶多只能自认为其观点目前不够严谨(共线性仍然严重)
毕竟量化研究的哲学 从来无法证明"什麽是对的" 充其量只能证明"不是错的"
或许 b大可以引注其观点来源 与众板友们分享
最後 其实小弟的统计功力也不敢自称有多好 只是个对统计议题有兴趣的迷世书僮
希望能够在这个园地 与来自各地的统计同好 一同讨论 一同交流 教学相长
感谢各位费神地看完这长篇大文 如有任何疏漏 还望各位大大 不吝斧正
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 112.105.112.241
※ 编辑: coldwind0912 来自: 112.105.112.241 (10/09 23:23)
7F：→ lin15:废神XD 10/09 23:27
8F：→ coldwind0912:别会错意呀 囧rz 我是怕大家看落落长很累呀~~~ 10/09 23:31
※ 编辑: coldwind0912 来自: 112.105.112.241 (10/09 23:33)
9F：→ bmka:我从没说过前面几个方法是错的啊... = = 10/09 23:35
10F：→ bmka:但是最後一个方法(也就是我提的方法) (X1X2)c的系数竟然 10/09 23:36
11F：推 clayclc:整理的真详细 10/09 23:37
12F：→ bmka:跟其他model不一样,这让我非常惊讶 10/09 23:37
13F：→ bmka:err...我看到的是修改前的table 10/09 23:41
14F：→ bmka:所以原po在前一篇说最後一个model的y估计值跟其他不一样时 10/09 23:43
15F：→ bmka:我的第一个反应才是请你check你的程式 10/09 23:43
16F：→ bmka:因为centering只会影响SE的估计值,不会影响系数的估计 10/09 23:46
17F：→ bmka:c大的table整理得很好,但是不同table的VIF不能直接比较 10/10 00:08
18F：→ bmka:比如说, X1c*X2c = X1X2-m2*X1-m1*X2-m1*m2, m1,m2是X1,X2的 10/10 00:10
19F：→ bmka:average.所以不能直接拿 X1c*X2c 跟 X1*X2两者的VIF来比 10/10 00:12
20F：推 Prozac:VIF本来就没有比较意义吧 他只是一种参考指标 10/10 00:18
21F：→ Prozac:C大有空的话把所有东西的相关矩阵贴一下 资讯是差不多的 10/10 00:19
22F：→ coldwind0912:VIF只是在反应模式的共线性程度 我有哪来比吗? 10/10 00:19
23F：→ coldwind0912:基本上 任何一个变项VIF>10 这模式的共线性已经.... 10/10 00:21
24F：→ bmka:所以这几个model fit 你比的是?要不要都还原成整理过後的 10/10 00:23
25F：→ bmka:model来看, i.e. y=c1+c2*x1+c3*x2+c4*x1*x2+e来比比看 10/10 00:24
26F：→ bmka:至少目前看来 c4的coeficient跟SE的估计值都是一样的 10/10 00:25
27F：→ coldwind0912:在共线性存在的情况下 系数跟估计值都是偏误的... 10/10 00:27
28F：→ coldwind0912:M1 M4 M5都是共线性偏误的Model... 10/10 00:28
29F：推 Prozac:就现在的分析结果来看 我们原本要讨论的东西已经差不多了 10/10 00:29
30F：→ coldwind0912:如果b大要坚持c4一致 我同意 10/10 00:29
31F：→ coldwind0912:但请考虑 在M1 M4 M5中 c4对c2 c3的影响性 10/10 00:30
32F：→ Prozac:我倒是比较好奇B大那个方法是哪来的 想看看提出人的想法 10/10 00:30
33F：→ bmka:c大,没错啊,所以还原成最简化的model来比较看看啊 10/10 00:33
34F：→ bmka:P大,我说过了,那是假装不知道X1X2跟X1,X2之间的关系 10/10 00:35
35F：→ bmka:我的原意是让除了常数项以外的系数不要变 10/10 00:35
36F：推 Prozac:嗯 我知道 我其实想跟B大要得是参考文献 我想要了解一下 10/10 00:36
37F：→ Prozac:因为我没听过这样的作法 我觉得观点上而言很新鲜 10/10 00:36
38F：→ coldwind0912:b大您曾提到"利用centering去处理collinearity" 10/10 00:36
39F：→ coldwind0912:但就M4 M5而言 collinearity跟M1是一模一样的 10/10 00:37
40F：→ coldwind0912:那M4 M5的做法 对於处理collinearity真的有用吗? 10/10 00:37
41F：→ bmka:c大,我是指你的M2,M3整理过简化後的model 10/10 00:38
42F：推 Prozac:还有 我也很好奇 还原到最简化的模式是啥意思？要比什麽？ 10/10 00:39
43F：→ coldwind0912:我也理解 centering就是希望常数项以外的系数不要变 10/10 00:39
44F：→ Prozac:是B大觉得C大作的分析无法说服你吗？我有点不明白B大的意思 10/10 00:39
45F：→ coldwind0912:我简化了什麽= = 分析model就长那样 结果数据就那样 10/10 00:40
46F：→ bmka:Like this, a0 + a1*X1 + a2*X2 + a3*(X1-m1)*(X2-m2) 10/10 00:42
47F：→ bmka:= a0+ a3m1m2 + (a1-a3 m2)X1 +(a2-a3m1)X2 + a3X1X3 10/10 00:43
48F：→ bmka:比较 a1-a3m2 跟M1下X1的SE (系数应该是要一样) 10/10 00:45
49F：→ bmka:我很好奇SE会差多少 10/10 00:46
50F：→ bmka:P大, C大结果表示我的方法对SE的估计没有影响 XD 10/10 00:50
51F：推 Prozac:没有影响? 你的方法M5在标准误和系数检定都有问题阿 10/10 00:54
52F：→ Prozac:很明显的被共线性所影响阿 我不懂你没有影响的意思 10/10 00:55
53F：→ clickhere:b 讲的是M4. 10/10 00:57
54F：→ clickhere:问: 为什要用这种模型? 怎麽看都不太好. 10/10 00:59
55F：推 Prozac:嗯？ 没差阿 M4也是被共线性影响的一塌糊涂 ▔▽▔ 10/10 00:59
56F：→ clickhere:还是单就讨论共线性? 不太懂这些比较的意义. 10/10 01:00
57F：→ coldwind0912:b大 你的like this是M2吧 M4还原不是那样吧.... 10/10 01:01
58F：→ Prozac:这问题我刚就问过了 我不懂现在B大到底想比什麽 10/10 01:01
59F：→ clickhere:no,即便是M1-M3亦同. 10/10 01:02
60F：→ clickhere:b 想说的是有更好的方法呀. 10/10 01:03
61F：→ coldwind0912:M4 M5就是b大认为的好方法呀 10/10 01:05
62F：→ bmka:C大,我指的是把(X1-m1)*(X2-m2)展开,把这几种model都写成 10/10 01:06
63F：→ bmka:没有cener以前的项,比较 X1, X2的SE(至於X1*X2的SE已经知道是 10/10 01:08
64F：→ bmka:一样了),系数就不必比了,一定是一样的 10/10 01:08
65F：→ coldwind0912:b大 基本上M4M5的中心化 只改变a0 对a1~a3没影响 10/10 01:10
66F：→ bmka:C大,就算M4M5是很不好的方法,看看它有多不好也很有趣啊 10/10 01:11
67F：→ coldwind0912:但是 M1M4M5的共线性依旧存在 a1~a3的系数都是偏误的 10/10 01:11
68F：→ coldwind0912:而如同你在like this那边所述 10/10 01:12
69F：→ bmka:C大,我指的是M2 & M3 10/10 01:12
70F：推 Prozac:嗯 B大研究後发PAPER记得告诉我 XD 10/10 01:12
71F：→ coldwind0912:M1与M2的a1相比 M2其实是a1-a3m2 这就是中心化的调整 10/10 01:12
72F：→ bmka:C大,你不会是直接比较这几个table的系数吧!!! 10/10 01:13
73F：→ coldwind0912:这个调整 也让整个model的共线性降低 10/10 01:13
74F：→ bmka:我知道,但是要公平的比较这几个method,还是要还原到原始 10/10 01:14
75F：→ coldwind0912:因为 以这笔data而言 X1的true effect是a1-a3m2 非a1 10/10 01:14
76F：→ bmka:没调整过的 10/10 01:15
77F：→ bmka:所以我有兴趣知道的是a1-a3m2的SE跟M1中X1的SE来比 10/10 01:16
78F：→ yhliu:明明是很简单的问题, 却争论了那麽久... 10/10 01:18
79F：推 Prozac:B大何不跑个模拟或推导後回一篇 让我们品香一下 10/10 01:18
80F：→ yhliu:两个 "不相干" 变数是否中心化, 当然不影响两变数的相关, 因 10/10 01:19
81F：→ yhliu:为计算相关本来就要减去中心(平均数). 然而, X 与 X^2 的相 10/10 01:20
82F：→ yhliu:会与 X 与 (X-E[X])^2 的相关相等吗? X1 与 X1*X2 的相关会 10/10 01:21
83F：→ yhliu:和 X1 与 (X1-E[X1])(X2-E[X2]) 的相关相等吗? 一般而言是不 10/10 01:22
84F：→ yhliu:会. 10/10 01:23
85F：→ yhliu:至於考虑交互作用, 其独立解释变数是否要先置中再相乘而建构 10/10 01:24
86F：→ yhliu:成交互作用项, 这又有甚麽好讨论的? 10/10 01:25
87F：→ yhliu:当最高阶交互作用项是 x1*x2 时, 不管用 x1*x2 或先置中再相 10/10 01:26
88F：→ yhliu:乘, 其系数都一样. 影响的是主效应项 (x1, x2 之系数). 然而 10/10 01:26
89F：→ yhliu:在有交互作用时, 单看主效应项本来就是错误的! 而就组合效应 10/10 01:27
90F：→ yhliu:(x1, x2 与 x1*x2 组合来看), 其结论是相同的. 10/10 01:28
91F：推 Prozac:推Y大 10/10 01:43
92F：→ coldwind0912:感谢y大指教~ 10/10 01:46
93F：推 bluechuchy:认同y大，基本上跟我前篇回文意义一样，趋势一致 10/12 19:05
94F：→ bluechuchy:基本上，这个讨论很完整了.....等於小工作坊了 10/12 19:06
95F：→ eternalviva:请问什麽是bata值? 这连串的讨论真赞 10/12 20:24
96F：→ ADORIAN:y 大没有提到 "趋势", 你确定意义一样? 10/13 14:00
97F：→ bluechuchy:bata值是b的标准化 10/13 14:01
98F：推 abuu0929:大感谢这篇，本来正要开始试各种MODEL的，感谢C大 11/03 15:05
99F：推 abuu0929:现在又看到y大说的，太有道理了(泪)... 11/03 16:33