作者andrew43 (讨厌有好心推文後删文者)
看板R_Language
标题Re: [问题] 几个资料预处理问题
时间Wed Apr 22 18:29:27 2015
※ 引述《sinclairJ (Jun)》之铭言:
: 不好意思,又要来请教各位先进了
: 资料档大概格式如下(均是类别型资料)
: (实际资料约为200列乘500000行)
: ----------------------------
: 序 Y X1 X2 X3
: 1 1 0 1 2
: 2 1 0 0 0
: 3 2 2 1 1
: 4 1 1 1 2
: 5 2 0 2 2
: 6 2 1 1 2
: 7 2 1 0 1
: 8 1 2 1 1
: 9 1 1 2 0
: 10 2 0 0 2
: ......
: ......
: .....
: -----------------------------
: 以下有几个互相独立的资料处理动作要请教各位:
: (1)如表格所示,Y有两种类别,X有三种类别,我想做的处理是比较Y的两种类别,其他
: 们的X变数是否为同样类别
: 举例: Y X1 X2 X3
: 1 0 1 2
: 1 0 2 2
: 2 0 0 1
: 2 0 1 1
: 然後因为X1都一样,所以我要把X1删除,请问这个预处理该如何於R上实现?
假如该 data frame 叫 dt 好了。
dt <- data.frame(
Y = c(1,1,2,2), X1 = c(0,0,0,0),
X2 = c(1,2,0,1), X3 = c(2,2,1,1)
)
可以利用 length(table(dt$X1)) > 1 这个运算来测试 X1 是不是非全等。
懂这个技巧後,套用 apply(dt, 2, function(.){length(table(.))}) > 1
就可以知道哪些栏是要保留的栏位。
合起来写就是
dt1 <- dt[, apply(dt, 2, function(.){length(table(.))}) > 1]
dt1 为所求。
: (2)接下来我要对每个X变数做类似这样的处理
: 举例: X1
: 0
: 1
: 2
: 1
: 2
: 2
: 1
: 2
: 1
: 1
: 先找出最少的类别,其所占的比例
: 如X1最少的类别是0,比例为1/10,1/10就是我想得到的,只是回圈不太明白该怎麽写
同样举例子给你。
dt2 <- data.frame(
X1 = c(0,1,2,1,2,2,1,2,1,1),
X2 = c(0,1,1,1,1,1,1,1,1,2),
X3 = c(0,0,0,0,0,1,1,2,2,2)
)
sort(table(dt2$X1))[1] / length(dt2$X1) 可以看出 0 占 10% 最少。
所以,再套
apply(dt2, 2, function(.){sort(table(.))[1] / length(.)} )
即为所求。
想看看是谁占最少则使用
apply(dt2, 2, function(.){attr(sort(table(.))[1], "names")})
不过,dt2$X2 中 0 和 2 都是最少者,但这个方法没办法知道。
: (3)X变数做C取2组合方式(两两相互)对Y做逻辑斯回归(这边的X可转成数值型资料来处
: 理)
: 举例
: Y X1 X2 X3
: 1 2 1 0
: 2 1 0 1
: 3 2 0 0
: 如果资料是上述这样
: 我就要建立三条回归
: Y~X1+X2
: Y~X2+X3
: Y~X1+X3
: 之後把显着(p<0.05)的X变数挑出来
Y 是 1,2,3... 怎麽做 logistic regression?
是不是请你再确定?
我建个资料用来示范:
dt <- data.frame(
Y = c(0,0,0,0,0,1,1,1),
X1 = runif(8), X2 = runif(8), X3 = runif(8)
)
n 球中抽出且不放回 k 球的所有组合可以用这个方式:combn(n, k)
因为你的 names(dt) 是 "Y" "X1" "X2" "X3",
那就是 3 球中抽 2 球,共有种情况:
dt.x <- dt[, which(names(dt) != "Y")]
mat <- combn(names(dt.x), 2)
最後再把 mat 拚成 formula 字串:
str <- paste0("Y ~ ", apply(mat, 2, paste, sep = "", collapse = " + "))
就生成三个 formula 前身字串。
最後要做 logistic regression:
mod <- list()
for(i in 1:length(str)){
mod[[i]] <- glm(as.formula(str[i]), data = dt, family = binomial)
}
lapply(mod, summary)
: 希望各位先进能指导指导小弟
: 若问题描述还不够清楚
: 我会再补充,先跟版上各位先进说声谢谢了
--
http://apansharing.blogspot.com/
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 125.230.77.34
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1429698574.A.64E.html
1F:推 celestialgod: 推详细说明 04/22 18:51
2F:→ celestialgod: 我觉得他3的Y只是打错,我用他上面的资料... 04/22 18:55
3F:推 sinclairJ: 阿阿Y打错了没错,抱歉 04/22 19:34
4F:→ sinclairJ: 也谢谢两位前辈指教 04/22 19:34
5F:→ andrew43: 因为你的资料不少,所以如果哪里算不动记得回报一下。 04/23 11:34
6F:推 sinclairJ: 哈哈我已经先把大资料拆成数个小部分跑分析了,暂时还 04/24 09:23
7F:→ sinclairJ: 可以处理,谢谢你! 04/24 09:23