R_Language 板


LINE

※ 引述《locka (locka)》之銘言: : library(tidyverse) : library(readr) : # 產生測試資料 : demo <- tibble(variable=1:16, : id1=rnorm(16), : id2=rnorm(16), : id3=rnorm(16), : id4=rnorm(16)) : write_csv(demo, "demo.csv") : # 使用read_csv_chunked() 每4row切割並輸出成一個新的檔案 : callback_f <- function(x, pos) write_csv(x, paste0("chunk_",pos%/%4,".csv")) : read_csv_chunked("demo.csv", DataFrameCallback$new(callback_f), chunk_size=4 ) : 結果如下: : 原資料 : https://i.imgur.com/y3GmbSh.jpg : 輸出4個檔案 : https://i.imgur.com/5b2pzEi.jpg ------------------------------------------------------------------- 謝謝各位的解答,我收益良多 如今我有一個衍伸的問題 如果我要將這4個分開的矩陣做同樣的運算並且將最終運算結果整理到同一個檔案中的話 除了一筆一筆運算外,有沒有比較快的方式? 我使用的指令如下 承續locka的指令 library(igraph) #將4個輸出檔案匯入 data1 <- read.csv("chunk_0.csv", header=T, sep=",",row.names = 1) data2 <- read.csv("chunk_1.csv", header=T, sep=",",row.names = 1) data3 <- read.csv("chunk_2.csv", header=T, sep=",",row.names = 1) data4 <- read.csv("chunk_3.csv", header=T, sep=",",row.names = 1) #自定義一個運算函數 test=function(X){ A=graph.adjacency(t(X), mode="directed",weighted =T) result=topov=cbind(result1=graph.strength(A, mode = "in"), result2=graph.strength(A, mode = "out")) return(list(result=result)) } #將4個匯入檔案分別計算 output1 = test(data1) output2 = test(data2) output3 = test(data3) output4 = test(data4) #將4個計算結果合併並輸出 result1_all = as.data.frame(cbind(output1$result[,1],output2$result[,1],output 3$result[,1],output4$result[,1])) result2_all = as.data.frame(cbind(output$result[,2],output2$result[,2],output3 $result[,2],output4$result[,2])) write_csv(result1_all,"result1_all") write_csv(result2_all,"result2_all") --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.44.152 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1677119056.A.E72.html ※ 編輯: haitairoutzu (140.116.44.152 臺灣), 02/23/2023 10:25:19 ※ 編輯: haitairoutzu (140.116.44.152 臺灣), 02/23/2023 10:26:19
1F:→ lycantrope: 如果分析都套用一樣的func,分組後用groupby處理 02/23 11:02
2F:→ locka: 設一個存放結果的dataframe,在callback function裡面把算 02/23 14:03
3F:→ locka: 出來的結果加到那個dataframe就好啦~ 02/23 14:03
4F:→ locka: callback function就是設定每個讀取的chunk做同樣的運算, 02/23 14:03
5F:→ locka: 不用再特別groupby 02/23 14:03







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Tech_Job站內搜尋

TOP