作者celestialgod (攸藍)
看板R_Language
標題Re: [問題] 資料整理
時間Mon Jul 27 10:54:35 2015
※ 引述《Udyr (Udyr)》之銘言：
: [問題類型]:
: 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
: [軟體熟悉度]:
: 請把以下不需要的部份刪除
: 入門(寫過其他程式，只是對語法不熟悉)
: [問題敘述]:
: 資料形式為list
: $`875523`
: [1] "A" "B" "E" "C" "D" "G"
: $`881823`
: [1] "B" "D" "F" "E"
: 想將資料整理為以下格式
: A B C D E F G
: 875523 1 1 1 1 1 0 1
: 881823 0 1 0 0 1 1 0
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
out = sapply(A_list, function(x) {
tmp = rep(0, length(all_levels))
tmp[match(x, all_levels)] = 1
tmp
})
out = t(out)
colnames(out) = all_levels
out
## A B C D E F G
## 875523 1 1 1 1 1 0 1
## 881823 0 1 0 1 1 1 0
## 如果A, B, C, ...不是只有一個，sapply內部要做更改
out = sapply(A_list, function(x) {
x2 = tapply(rep(1,length(x)), x, sum)
tmp = rep(0, length(all_levels))
tmp[match(names(x2), all_levels)] = x2
tmp
})
## method 2 (可以查看前面的資料整理套件介紹的系列文)
library(reshape2)
library(data.table)
library(plyr)
library(dplyr)
library(magrittr)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
DT = llply(1:length(A_list), function(i){
data.table(id = names(A_list)[i], level = A_list[[i]])
}) %>% bind_rows
DT %>% dcast(id ~ level)
## id A B C D E F G
## 1 875523 1 1 1 1 1 0 1
## 2 881823 0 1 0 1 1 1 0
## use sparse matrix
library(Matrix)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
j_index = lapply(A_list, match, table = all_levels)
i_index = lapply(1:length(out), function(x) rep(x, length(out[[x]])))
i_index = as.integer(unlist(i_index)-1)
j_index = as.integer(unlist(j_index)-1)
out = new("dgTMatrix", i = i_index, j = j_index,
x=rep(1,length(i_index)),
Dim=c(length(A_list), length(all_levels)))
如果是all_levels無法配置足夠的記憶體的話
請使用迴圈用setdiff做人工的unique...
這裡沒考慮大於1的可能性，如果大於1需要比較複雜的運算
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.27.107
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1437965677.A.A6F.html
1F：推 Udyr: 謝謝你的回答 07/27 20:18
2F：→ Udyr: 但因為資料量太過龐大 07/27 20:18
3F：→ Udyr: Error: cannot allocate vector of size 1.5 Gb 07/27 20:19
4F：→ Udyr: 最終要做的是找association rule 07/27 20:20
5F：→ Udyr: 需要把資料轉為transaction 形式 07/27 20:20
6F：→ Udyr: 請問有沒有其他方法可以將原始資料轉為transaction 形式 07/27 20:21
我不確定你是處理過程，還是最終沒法儲存那麼大的結果
如果是處理過程，我就沒有其他方法做
如果是最終無法儲存那麼大的結果就善用sparse matrix吧
※ 編輯: celestialgod (123.205.27.107), 07/28/2015 09:47:43
7F：→ Wush978: 如果要轉成transaction，也許你可以直接先一行一行寫到 07/28 22:58
8F：→ Wush978: 檔案(依照read.transactions能吃的格式) 07/28 22:59
9F：→ Wush978: 然後直接用read.transactions讀進來 07/28 22:59