作者lovesnow1990 (冰心之月)
看板R_Language
标题[问题] 想选择特定变数做predict
时间Mon Jun 30 16:21:51 2014
[问题类型]:
程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
[软体熟悉度]:
入门(写过其他程式，只是对语法不熟悉)
[问题叙述]:
最近在跑实验资料，想要做罗吉斯回归
跑出结果後希望能只选择Pvalue<0.05的自变数做为model
然後做predict
请问我要怎麽做呢?
因为现在只会把包含所有自变数的model丢下去predict
[程式范例]:
http://ideone.com/e.js/QzUNJQ
[关键字]:
predict choose variable
--
如果我们要把磁铁棒放进线圈，
线圈会说「不!!不要过来!!」而发出阻力不让磁铁棒靠近。
但是如果我们要把放进去的磁铁棒从线圈拿走， 「傲娇是一种
线圈反而会说「我…我又没有叫你走!!」而发出阻力不让磁铁棒离开= = 自然现象」
这种现象不就是傲娇吗！！！
新科科人杂志
所以傲娇这东西根本不是新梗，19世纪就有科学家发现傲娇了！ ／民明书房
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.119.74.75
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/R_Language/M.1404116519.A.82D.html
1F：→ andrew43:题外话，不要一次删去或加入超过一个变数。 06/30 17:05
2F：→ andrew43:你可以用 step() 自动化这个动作，但我还是习惯手动选择 06/30 17:06
像是向後/前选取变数那样一个变数一个变数删嘛
3F：→ andrew43:对啊。相关的function还有add1()和drop1() 06/30 18:05
我刚刚试着用step(model1,direction="backward")跑
结果他现在似乎跑不完了 囧
我自变数有139笔
样本数是大约5000笔
我把他停掉之後他似乎一直跑出下面这行的warning
glm.fit: fitted probabilities numerically 0 or 1 occurred
但是我不太懂他的意思是什麽...
4F：→ andrew43:我不知道，但先检查出是哪一步出问题看看。 06/30 18:46
5F：推 Wush978:看起来有linear separable的问题 06/30 18:54
线性可分是不是就代表着样本(OR变数)之间有相依性存在呢
6F：→ andrew43:不是，而是指自变数中有条线可以完美地区别依变数的值。 06/30 19:30
所以是指自变数中 某些自变数的线性组合就可以完美的区别依变数罗
听起来好像不是什麽坏事(感觉我有点笨...)
※ 编辑: lovesnow1990 (140.119.74.75), 06/30/2014 21:01:12
7F：推 Wush978:会导致模型收敛出问题 06/30 21:39
8F：→ Wush978:logit会把0, 1, 变换到无限大 06/30 21:40
9F：→ Wush978:所以你fit出来的模型参数会很怪 06/30 21:41
10F：→ andrew43:没错。也谢谢楼上补充。 06/30 21:50
http://pages.cs.wisc.edu/~jerryzhu/cs769/lr.pdf
我上网查了一下线性可分的解决方法
因为我意思看不太懂所以先直接把英文截下来
One way to avoid this is to incorporate a prior on θ in the form of a
zero-mean Gaussian with covariance (1/2λ)I.
and seek the MAP estimate
下面是我的解读不知道正不正确
=================================================
我必须先设立θ是一个服从N(0,(1/2λ)I)的变数
然後计算MAP estimate(他所指的是方程式(9)嘛?)
最後在用Newton-Raphson迭代法求得最佳解
=================================================
※ 编辑: lovesnow1990 (140.119.74.75), 07/01/2014 19:04:48
11F：推 Wush978:Keyword: regularization 07/01 22:14
12F：→ Wush978:可以看一下LiblineaR这个套件 07/01 22:15
13F：→ lovesnow1990:好喔 非常感谢 07/02 15:19