※ 引述《jojojen (JJJ)》之铭言： : [问题类型]: : 程式谘询 : [软体熟悉度]: : 入门(写过其他程式，只是对语法不熟悉) : [问题叙述]: : 各位大大好，小弟算是爬虫初学者，最近在练习爬取联合新闻的即时新闻列表， : 在抓出版时间时碰到一点问题，虽然硬是写了出来， : 但还是想请教一下有没有更好的写法 : 麻烦各位了！！ : [程式范例]: : # install pack : list.of.packages <- c("rvest", "RCurl", "stringi", "XML", "stringr") : new.packages <- list.of.packages[!(list.of.packages %in% : installed.packages()[,"Package"])] : if(length(new.packages)) install.packages(new.packages) : # 捞取财经新闻 : surl = "http://money.udn.com/money/breaknews" : udn = read_html(surl,encoding="UTF-8") : ranking_table = udn %>% html_nodes('.area_body') %>% html_nodes(xpath = : "//table") : title = ranking_table %>% html_nodes('a') %>% html_text %>% iconv(from = : 'UTF-8', to = 'UTF-8') : url = ranking_table %>% html_nodes('a') %>% html_attr('href') : ## 抓取时间的时候，因为类别跟出版时间都被放在only_web class里 : ## 我分不开只好都先抓下来，再砍掉不符合的栏位 : pattern = '^[0-9]{2}' : t = ranking_table %>% html_nodes('.only_web') %>% html_text %>% as.data.frame : colnames(t) = c("data") : time = subset(t, grepl(pattern, t$data)) : [环境叙述]: : R version 3.3.1 (2016-06-21) : Platform: x86_64-w64-mingw32/x64 (64-bit) : Running under: Windows 7 x64 (build 7600) : [关键字]: : 网路爬虫, RVEST 下面是我的作法，windows用rvest会遇到encoding问题 但是windows中文版也不能正常显示UTF8字元，所以要经过一点转换 # require pkgs and install it if it is not installed if (!"installr" %in% installed.packages()) install.packages("installr") library(installr) require2(rvest) require2(stringi) require2(data.table) # 转不转data.table无所谓 require2(pipeR) if (is.windows()) { original_locale <- Sys.getlocale("LC_COLLATE") Sys.setlocale("LC_ALL", 'C') } surl <- "http://money.udn.com/money/breaknews" outTbl <- read_html(surl, encoding="UTF-8") %>>% html_node("#ranking_table") %>>% html_table if (is.windows()) { outTblTrans <- lapply(outTbl, function(v){ if (class(v) == "character") { return(stri_conv(v, to = "big5")) # 字串都转成big5 } else { return(v) } }) %>>% `names<-`(NULL) %>>% as.data.table %>>% # names一定要先清空不然会错 setnames(stri_conv(names(outTbl), to = "big5")) Sys.setlocale(locale = original_locale) } # 标题 类别 出版时间 浏览数 分享数 # 1: 共享单车成都投放1周 乱停放被城管没收 即时 11/25 21:21 0 NA # 2: 缅甸洛兴雅遭迫害 翁山苏姬成众矢之的 即时 11/25 21:21 0 NA # 3: 马英九：我还没上任 就被批评会带来大灾难 即时 11/25 21:02 11 NA # 4: 控缅甸种族净化洛兴雅人 亚洲爆示威 即时 11/25 20:54 8 NA 上面那段也可以换成下面这个做法，不过是data.table only (但是资料量大会快一点) if (is.windows()) { outTblTrans <- outTbl[ , lapply(.SD, stri_conv, to = "big5")] %>>% setnames(stri_conv(names(outTbl), to = "big5")) Encoding(names(outTblTrans)) <- "big5" Sys.setlocale(locale = original_locale) } -- R资料整理套件系列文： magrittr #1LhSWhpH (R_Language) https://goo.gl/OBto1x data.table #1LhW7Tvj (R_Language) https://goo.gl/QFtp17 dplyr(上.下) #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/GcfNoP tidyr #1Liqls1R (R_Language) https://goo.gl/pcq5nq pipeR #1NXESRm5 (R_Language) https://goo.gl/cDIzTh --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.235.43.180 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1480080483.A.5F6.html ※ 编辑: celestialgod (36.235.43.180), 11/25/2016 21:41:33