作者qtzbbztq (阿杰)
看板Statistics
标题Re: [程式] 回归分析中删除变数的方法
时间Wed Feb 3 14:08:38 2010
你有一点误会了
共线性发生是因为这12个independent variable
之间有高度的相关 一般来说是大於0.7 不一定 0.6也有人说
简单来讲
如果两个variable高度相关
他就有点像是一个variable拆成两个
跑regression时 就会对整个model造成破坏
因为model会把这两个variable看成类似一个variable
会使你的model变得更显着 or 更不显着 你的结论就完全不可靠
所以你说 你不想删掉整个variable 那是不可能的
因为共线性是以variable为单位进行比较的
要删就是删一整个variable
否则无论你怎麽删 都会犯随机的假设前提
碰到这个问题
要马就把variable删掉 选择一个较为重要的variable
先跑个correlation 看看哪些variable之间是有高度相关的
搞不好你会发现 那麽多variable有共线性 可能都是某一个variable造成的
只要删掉那个variable 剩下的都不会有共线性
要马就是要作一些合并的动作
例如身高与体重好了
这两个就是有高度相关variable 最後会有共线性发生的经典例子
(身高越高 体重常常是越重)
所以多数的人就用BMI取代这两个variable
只用一个variable就可以代表这两个的涵义
只是你要想清楚你合并的variable要怎麽解释
因为如果不是像BMI这种公定的标准
常常合并後的新variable很难解释的
※ 引述《takumi666 (明)》之铭言:
: 大家好
: 我想请教一个回归共线性发生时,应如何删除变数?(板上没爬到这方面的讨论)
: 目前我有12个自变数与一个应变数
: 当12个变数一起跑回归时,R平方显着,然而有部分变数VIF>10(有共线性)。
: 我想直接把有共线性的变数删掉,但又不知道从何删起
: (不想直接把VIF>10的变数直接全部删掉,想采用其他的方法又不知怎麽使用)
: 以下网路上看到的解释:
: 1.整体回归模式的共线性诊断可以透过特徵值(eigenvalue)与条件指数(
: conditional index; CI)来判断。
: EX.特徵值大於多少就应该把这项变数删掉?
: 2.各变量相对的变异数比例(variance proportions),可看出自变项之间多元共线性
: 的结构特性。当任两变项在同一个特徵值上的变异数比例接近1时,表示存在共线性组合。
: EX.变异数比例大於多少就应该把这项变数删掉?
: 删变数时,应该上面两者条件都要相符才删掉,还是相符一个就可以了?
: 或者,还有其他筛选变数的方法?
: 感谢
: (我是用SPSS)
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.112.125.84
1F:推 takumi666:感谢,原来是我胡思乱想了>"< 02/03 19:09
2F:推 GUSED:那用pca或pls呢? 02/04 21:34
3F:推 evilove:这篇共线性观念有问题 02/06 09:31
4F:→ RonaldFisher:不只共线性有问题@@ 02/24 11:22