建議不要用XML，其實你很多程式是可以省下來不用的 用foreach，日後要改平行也可以比較簡單更動 好讀版：https://pastebin.com/xhCkV0Cd library(data.table) library(stringi) library(lubridate) library(foreach) library(httr) library(xml2) library(rvest) library(pipeR) # windows才需要先把locale改成C，並用stringi::stri_conv轉成big5 backupLocale <- Sys.getlocale("LC_COLLATE") Sys.setlocale("LC_ALL", 'C') timeVec <- seq(ymd("2003/01/01"), ymd("2003/01/11"), 1) reservoirUrl <- "http://fhy.wra.gov.tw/ReservoirPage_2011/StorageCapacity.aspx" tmp <- foreach(time = timeVec, .final = rbindlist) %do% { VIEWSTATE <- GET(reservoirUrl) %>>% content %>>% xml_find_all("//input[@name='__VIEWSTATE']") %>>% xml_attr("value") postBody <- c(list("所有水庫"), lapply(c(year, month, day), function(f) f(time)), list(VIEWSTATE)) %>>% `names<-`(c(paste0("ctl00$cphMain$", c("cboSearch", paste0("ucDate$cbo", c("Year", "Month","Day")))), "__VIEWSTATE")) outTbl <- POST(reservoirUrl, body = postBody) %>>% content %>>% xml_find_first("//table[@id='ctl00_cphMain_gvList']") %>>% html_table(fill = TRUE) %>>% setDT %>>% `[`(j = lapply(.SD, stri_conv, from = "UTF-8", to = "Big5")) setnames(outTbl, stri_conv(names(outTbl), "UTF-8", "Big5")) fwrite(outTbl, sprintf("result/%s.csv", as.character(time))) return(NULL) } Sys.setlocale(locale = backupLocale) fwrite(rbindlist(lapply(list.files("result", "\\.csv$"), fread)), "merge.csv") ※ 引述《jack155861 (蕭)》之銘言： : 來分享一下我的程式碼 : library(magrittr) : library(httr) : library(rvest) : library(XML) : library(dplyr) : library(stringr) : setwd("J:/聖哲/資料運算/spider") : data<-read.csv("test.csv", header=T, sep=",") : #http://imgur.com/a/vpizi 我自己先用EXCEL創造出要載的年月日 這用R也可以做啦 : #只是這個EXCEL之後還有其他功能 : for (a in 1:length(data[,1])) : { : url="http://fhy.wra.gov.tw/ReservoirPage_2011/StorageCapacity.aspx" : txt=GET(url) : viewstate = txt %>% read_html() %>% html_nodes(., css="#__VIEWSTATE") %>% : html_attr("value") : #讀取viewstate : cboSearch="所有水庫" : cboYear=data[a,2] : cboMonth=data[a,3] : cboDay=data[a,4] : #我的參數 : dados <- list( 'ctl00$cphMain$cboSearch'=cboSearch, : 'ctl00$cphMain$ucDate$cboYear'=cboYear, : 'ctl00$cphMain$ucDate$cboMonth'=cboMonth, : 'ctl00$cphMain$ucDate$cboDay'=cboDay, : '__VIEWSTATE'=viewstate) : #此網頁有很多$ list裡面不能直接打$ 要有單引號就沒這問題 : r <- POST(url, body=dados, cookies=unlist(txt$cookies),encode = "form") : res_text <- content(r, "text", encoding = "UTF-8") %>% : `Encoding<-`("UTF-8") # Windows encodind issue : res_text : #看看資料有無出來 : htmlParse(res_text,encoding = "utf8") : tables <- readHTMLTable(htmlParse(res_text,encoding = : "utf8"),stringsAsFactors=FALSE) : View(tables[[1]]) : #看看TABLE出來的資料有無正確 其實有些有跳欄位問題 但資料都有 : name=tables[[1]][-1,1] : water_day=tables[[1]][-1,2] : time_day=paste(cboYear,"-",cboMonth,"-",cboDay,sep = "") : rain=tables[[1]][-1,4] : input=tables[[1]][-1,5] : output=tables[[1]][-1,6] : difference=tables[[1]][-1,7] : time_now=tables[[1]][-1,8] : height_now=tables[[1]][-1,9] : water_now=tables[[1]][-1,10] : water_percent_now=tables[[1]][-1,11] : result=cbind(name,water_day,time_day,rain,input,output,difference,time_now,height_now,water_now,water_percent_now) : colnames(result) <- c("水庫名稱","水庫基本數據_有效容量", : "每日蓄水統計_統計時間","每日蓄水統計_集水區降雨量", : "每日蓄水統計_進水量","每日蓄水統計_出水量", : "每日蓄水統計_與昨日水位差","即時水情資料_水情時間", : "即時水情資料_水位","即時水情資料_有效蓄水量", : "即時水情資料_蓄水量百分比") : #從table存取我要的資訊 : write.csv(result, paste("./result/",time_day,".CSV",sep = "")) : #每一天一個CSV檔案 之後可能需要 故先不做合併 : } : a = list.files("result") : dir = paste("./result/",a,sep="") : n = length(dir) : merge.data = read.csv(file = dir[1],header=T,sep=",")[-54,-1] : for (i in 2:n){ : new.data = read.csv(file = dir[i], header=T, sep=",")[-54,-1] : merge.data = rbind(merge.data,new.data) : } : write.csv(merge.data,file = "./merge.csv",row.names=F) : #所有CSV合併成為一個檔案 : ※ 引述《jack155861 (蕭)》之銘言： : : 各位好 : : 謝謝C大的說明 然後我又在網路上看到一個教學 他這個教學跟我網站的形式有點類似 : : 網址如下：http://leoluyi.logdown.com/posts/406397-crawler-mops-2 : : 我把我要爬蟲的網站 看了他的程式碼 他是屬於form data 如下圖 : : http://imgur.com/a/Vy7mw : : 依照上面教學網址是要把form data的資料都放到R的函數理頭 : : res <- POST( : : "http://fhy.wra.gov.tw/ReservoirPage_2011/StorageCapacity.aspx", : : body = "XXXXX", : : encode = "form") : : 但是怎樣跑都跑不出來 跑的都是最新(2017/6/4)的資料 : : 若我body只放以下這些有影響的參數也是如此 : : ctl00$cphMain$cboSearch:防汛重點水庫 : : ctl00$cphMain$ucDate$cboYear:2017 : : ctl00$cphMain$ucDate$cboMonth:6 : : ctl00$cphMain$ucDate$cboDay:2 : : 請問各位大大 有哪裡用錯了嗎? --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.233.49.200 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1496837550.A.2F5.html 是喔@@ 第一次聽到XD 已更正 ※ 編輯: celestialgod (36.234.176.55), 06/09/2017 21:17:49