作者k5171 (Jess)
看板R_Language
標題[問題] Error in UseMethod("xml_find_all")
時間Sat Feb 4 19:21:07 2017
各位版大好，
首次使用Ｒ爬蟲，
嘗試其他網頁的爬蟲都有成功，
唯獨此篇的網頁一直爬不下來，
嘗試多日真的快想破頭，
懇請版上大大能幫忙！
[問題類型]:
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
[軟體熟悉度]:
新手(沒寫過程式，R 是我的第一次)
[問題敘述]:
library(httr)
library(rvest)
etf_url <- "
http://etfdb.com/etfdb-category/high-yield-bonds/"
首先想爬這個表格就嘗試了幾個方法：
# Definitive List Of High Yield Bonds ETFs
(I)
hyetf <- read_html(etf_url) %>%
html_nodes(xpath = '//*[@id="etfs"]') %>%
html_table()
==> hyetf 顯示為 list()
(II)
etf <- content(GET(etf_url), as = "text", encoding = "UTF-8")
hyetf <- etf %>%
html_nodes(xpath = '//*[@id="etfs"]') %>%
html_table()
hyetf
==> Error in UseMethod("xml_find_all") :
沒有適用的方法可將 'xml_find_all' 套用到 "character" 類別的物件;
hyetf 同樣顯示為 list()
(III)
想說試試看用爬 <table> tag 的方式，結果卻發現找不到 <table> tag 的 list:
hyetftable <- read_html(etf_url) %>%
hyetftable <- read_html(etf_url) %>%
html_nodes("table")
==> {xml_nodeset (0)}
於是不死心決定爬個入門版的最上方大標題試試，結果還是失敗了
# 網頁頂層大標 High Yield Bond ETFs
(I)
hyetf <- etf %>%
html_nodes(".mm-heading-no-top-margin") %>%
html_nodes("h1") %>%
html_text()
==> Error in UseMethod("xml_find_all") :
沒有適用的方法可將 'xml_find_all' 套用到 "character" 類別的物件;
hyetf 顯示為 character(0)
(II)
hyetf <- read_html(etf_url) %>%
html_nodes(".mm-heading-no-top-margin") %>%
html_nodes("h1") %>%
html_text()
==> hyetf 仍顯示為 character(0)
嘗試了好幾週，真的不確定是哪裡缺少什麼，懇請版上大大賜教，感激！
[環境敘述]:
> sessionInfo()
R version 3.3.1 (2016-06-21)
Platform: x86_64-apple-darwin13.4.0 (64-bit)
Running under: OS X 10.11.6 (El Capitan)
locale:
[1] zh_TW.UTF-8/zh_TW.UTF-8/zh_TW.UTF-8/C/zh_TW.UTF-8/zh_TW.UTF-8
attached base packages:
[1] stats graphics grDevices utils datasets
[6] methods base
other attached packages:
[1] httr_1.2.1 Rwordseg_0.2-1 ggplot2_2.2.0
[4] jiebaR_0.9.1 jiebaRD_0.1 tmcn_0.1-4
[7] tm_0.6-2 NLP_0.1-9 rJava_0.9-8
[10] rvest_0.3.2 xml2_1.0.0
loaded via a namespace (and not attached):
loaded via a namespace (and not attached):
[1] Rcpp_0.12.7 magrittr_1.5
[3] munsell_0.4.3 colorspace_1.2-6
[5] R6_2.1.3 stringr_1.1.0
[7] plyr_1.8.4 tools_3.3.1
[9] parallel_3.3.1 grid_3.3.1
[11] gtable_0.2.0 selectr_0.3-0
[13] lazyeval_0.2.0 assertthat_0.1
[15] tibble_1.2 curl_2.1
[17] rsconnect_0.4.3 slam_0.1-40
[19] stringi_1.1.1 scales_0.4.1
[21] XML_3.98-1.5
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.198.211
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1486207270.A.8F8.html
1F：→ celestialgod: 我猜應該是要從某個網址設定好header 用GET做query02/04 20:00
2F：→ celestialgod: 這網站架構，我沒有弄清楚，只能給一個方向02/04 20:01
3F：→ celestialgod: 有點像是我上次爬得全家網站 (板上某篇文章)02/04 20:01
4F：→ celestialgod: 如果都聽不懂，也別來問我，因為我對網站也是一知半02/04 20:05
5F：→ celestialgod: 解... 找專業的詢問吧02/04 20:05
7F：→ k5171: 感謝c大,全家那篇很仔細,有用心研究了02/05 15:41
8F：→ k5171: 感謝c大,全家那篇很仔細,有用心研究了02/05 15:41
9F：→ k5171: 僅有一個小提問，關於您code中的02/05 15:44
10F：→ k5171: tables <- sapply(1:7, function(i){02/05 15:44
12F：→ k5171: 1-", i, ".html") %>>%02/05 15:45
13F：→ k5171: GET %>>% content %>>% xml_find_all("//table//table") %>02/05 15:46
14F：→ k5171: >% '[['(2) %>>%02/05 15:47
15F：→ k5171: xml_find_all("tr") %>>% lapply(function(node){02/05 15:47
16F：→ k5171: xml_find_all(node, "td") %>>% xml_text %>>%02/05 15:47
17F：→ k5171: stri_conv(from = "UTF-8", to = "Big5")}) %>>%02/05 15:48
18F：→ k5171: do.call(what = rbind) %>>% `colnames<-`(.[1,]) %>>%02/05 15:48
19F：→ k5171: '['(2:nrow(.), )}02/05 15:48
20F：→ k5171: 其中的'[['(2)；`colnames<-`(.[1,])；'['(2:nrow(.), )02/05 15:50
21F：→ k5171: 何時需在[旁加', 何時用`；以及（.[1,])與nrow(.)的.為何？02/05 15:53
22F：→ clansoda: '[['(2)表list第二個項目, .是表pipe line裡面前一個02/05 16:56
23F：→ clansoda: pass過來的值 例如 X %>% now(.) .表示X02/05 16:57
24F：→ celestialgod: 不用深究程式，你知道怎麼爬就好XD02/05 17:36
25F：→ celestialgod: 研究這些的時間不如好好研究你那個網站架構02/05 17:36
26F：→ celestialgod: 重點在怎麼取得那些query網址，要去觀察browser的動02/05 17:46
27F：→ celestialgod: 作，這是程式碼看不到的02/05 17:46
28F：→ celestialgod: 先去想我怎麼從原問題的網址找到要用GET的網誌02/05 17:47
29F：→ k5171: 了解，感謝兩位大大！請問 GET inquiry 是否只適用需點擊02/05 23:05
30F：→ k5171: 查詢的網頁？（像是全家的網頁需要輸入郵遞區號才會顯示02/05 23:05
31F：→ k5171: 查詢的網頁？（像是全家的網頁需要輸入郵遞區號才會顯示02/05 23:05
32F：→ k5171: 資料）02/05 23:05
33F：推 andrew43: 小女是指您女兒。02/06 04:40
34F：→ clansoda: XDDDD andrew大不講 我根本沒看到 所以應該是小女子囉02/06 09:05
35F：→ celestialgod: 可以用小妹?!02/06 09:22
36F：→ celestialgod: 全家那個是按地圖時會有查詢的網址，瀏覽器可以抓到02/06 09:23
37F：→ celestialgod: 這個行為02/06 09:23
38F：→ celestialgod: 你那個網站大概也是要找到那個查詢網址，不過可能要02/06 09:25
39F：→ celestialgod: 在他的js code找02/06 09:25
※ 編輯: k5171 (49.214.198.211), 02/06/2017 12:22:07
40F：推 memphis: andrew43 厲害喔 我們看太多都自動忽略掉了 02/06 13:47
41F：→ celestialgod: 樓上也喜歡自稱小女嗎XDD 02/06 14:04