作者ginseng21 (SweetCow)
看板R_Language
標題[問題] 讀取JSON 整理表格後輸出成CSV
時間Sun Feb 19 01:22:52 2017
[問題類型]:
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
效能諮詢(我想讓R 跑更快)
[軟體熟悉度]:
入門(寫過其他程式，只是對語法不熟悉)
[問題敘述]:
我想要從建管Open Data平台上撈出新北市板橋區的使用執照
然後依照每個地址展開表格，希望得到每個地址後面有對應的基本資料
之後再將表格輸出為CSV檔案
平台提供的介接服務一次只能傳回100筆資料，而每一筆資料會有1~多筆地址
我只有想到兩個for迴圈的寫法，不曉得是否能用lapply寫來提升效能???
而嘗試過後發現這樣表格會太大張
因此我改成將每筆地址與對應的ID輸出一份CSV檔案
每個基本資料與對應的ID再輸出成另一份CSV檔案
我在嘗試的過程中，有一段使用rbind.data.frame會錯，但使用rbind.pages卻成功
也想要請教rbind.data.frame錯誤的原因???
介接服務網址:
http://building-apply.publicwork.ntpc.gov.tw/opendata/
OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC
&%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80
&Start=1
介接說明:
http://mcgbm.taichung.gov.tw/opendata/docs/a1.html
[程式範例]:
url <-'
http://building-apply.publicwork.ntpc.gov.tw/opendata/
OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC
&%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80
&Start='
urltmp <- list()
datatmp <- list()
addreall <- list()
info <- list()
st1 = Sys.time();
for( i in 1:10) #假設資料是1000筆以內
{
st = Sys.time();
urltmp [i] <- paste(url,(i-1)*100+1,sep="")
# 將每個介接網址用LIST儲存
# 介接網址的Start=可以控制從第幾筆資料開始提供100筆
datatmp <- as.data.frame(fromJSON(urltmp[[i]]))
addre <- datatmp$data.門牌
ID <- datatmp$data._id
for (t in 1:100)
{addre[[t]]$ID <-ID[t,]}
#將每一筆的門牌串上ID
addreall[[i]] <- do.call(rbind.data.frame, addre)
info[[i]] <- as.data.frame(datatmp[,1:27])
# 1:27列是基本資料
# 將每筆資料的門牌合併後用LIST儲存
# 將每筆資料的基本資料用LIST儲存
ed = Sys.time();
print(ed-st)
print(i)
}
all <- do.call(rbind.data.frame, addreall)
infotmp <- rbind.pages(info)
# 將迴圈內的儲存的LIST合併，準備輸出
# info這一段我用rbind.data.frame都會跳出錯誤 錯誤訊息如下
infoall <- cbind(infotmp[,1],infotmp[,2:27])
# 這一段不用cbind處理的話，輸出的ID那列會出問題。不曉得ID那列的格式是否不同
write.csv(all,"address.csv",row.names=F,quote=F)
write.csv(infoall,"info.csv",row.names=F,quote=F)
# 輸出CSV檔案
ed1 = Sys.time();
print(ed1-st1)
----------------------------------
rbind.data.frame的錯誤訊息
Error in `row.names<-.data.frame`(`*tmp*`, value = value) :
duplicate 'row.names' are not allowed
In addition: Warning message:
non-unique values when setting 'row.names': ......
[環境敘述]:
R version 3.3.0 (2016-05-03)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows >= 8 x64 (build 9200)
locale:
[1] LC_COLLATE=Chinese (Traditional)_Hong Kong SAR.950
[2] LC_CTYPE=Chinese (Traditional)_Hong Kong SAR.950
[3] LC_MONETARY=Chinese (Traditional)_Hong Kong SAR.950
[4] LC_NUMERIC=C
[5] LC_TIME=Chinese (Traditional)_Hong Kong SAR.950
attached base packages:
[1] stats graphics grDevices utils datasets methods base
loaded via a namespace (and not attached):
[1] tools_3.3.0
[關鍵字]:
rbind, rbind.data.frame, data.table, do.call, lapply
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.115.220
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1487438576.A.054.html