作者celestialgod (攸蓝)
看板R_Language
标题Re: [问题] 资料整理
时间Mon Jul 27 10:54:35 2015
※ 引述《Udyr (Udyr)》之铭言：
: [问题类型]:
: 程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
: [软体熟悉度]:
: 请把以下不需要的部份删除
: 入门(写过其他程式，只是对语法不熟悉)
: [问题叙述]:
: 资料形式为list
: $`875523`
: [1] "A" "B" "E" "C" "D" "G"
: $`881823`
: [1] "B" "D" "F" "E"
: 想将资料整理为以下格式
: A B C D E F G
: 875523 1 1 1 1 1 0 1
: 881823 0 1 0 0 1 1 0
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
out = sapply(A_list, function(x) {
tmp = rep(0, length(all_levels))
tmp[match(x, all_levels)] = 1
tmp
})
out = t(out)
colnames(out) = all_levels
out
## A B C D E F G
## 875523 1 1 1 1 1 0 1
## 881823 0 1 0 1 1 1 0
## 如果A, B, C, ...不是只有一个，sapply内部要做更改
out = sapply(A_list, function(x) {
x2 = tapply(rep(1,length(x)), x, sum)
tmp = rep(0, length(all_levels))
tmp[match(names(x2), all_levels)] = x2
tmp
})
## method 2 (可以查看前面的资料整理套件介绍的系列文)
library(reshape2)
library(data.table)
library(plyr)
library(dplyr)
library(magrittr)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
DT = llply(1:length(A_list), function(i){
data.table(id = names(A_list)[i], level = A_list[[i]])
}) %>% bind_rows
DT %>% dcast(id ~ level)
## id A B C D E F G
## 1 875523 1 1 1 1 1 0 1
## 2 881823 0 1 0 1 1 1 0
## use sparse matrix
library(Matrix)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
j_index = lapply(A_list, match, table = all_levels)
i_index = lapply(1:length(out), function(x) rep(x, length(out[[x]])))
i_index = as.integer(unlist(i_index)-1)
j_index = as.integer(unlist(j_index)-1)
out = new("dgTMatrix", i = i_index, j = j_index,
x=rep(1,length(i_index)),
Dim=c(length(A_list), length(all_levels)))
如果是all_levels无法配置足够的记忆体的话
请使用回圈用setdiff做人工的unique...
这里没考虑大於1的可能性，如果大於1需要比较复杂的运算
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.205.27.107
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1437965677.A.A6F.html
1F：推 Udyr: 谢谢你的回答 07/27 20:18
2F：→ Udyr: 但因为资料量太过庞大 07/27 20:18
3F：→ Udyr: Error: cannot allocate vector of size 1.5 Gb 07/27 20:19
4F：→ Udyr: 最终要做的是找association rule 07/27 20:20
5F：→ Udyr: 需要把资料转为transaction 形式 07/27 20:20
6F：→ Udyr: 请问有没有其他方法可以将原始资料转为transaction 形式 07/27 20:21
我不确定你是处理过程，还是最终没法储存那麽大的结果
如果是处理过程，我就没有其他方法做
如果是最终无法储存那麽大的结果就善用sparse matrix吧
※ 编辑: celestialgod (123.205.27.107), 07/28/2015 09:47:43
7F：→ Wush978: 如果要转成transaction，也许你可以直接先一行一行写到 07/28 22:58
8F：→ Wush978: 档案(依照read.transactions能吃的格式) 07/28 22:59
9F：→ Wush978: 然後直接用read.transactions读进来 07/28 22:59