作者luenchang (luen)
看板R_Language
標題[問題] scraping HTML tables
時間Mon Feb 22 16:53:23 2021
請教一個和爬蟲相關的問題。
我想爬的是這個網頁
https://quickfs.net/company/A2M:AU
裡的兩個tables, (1) Key Statistics及 (2) 拉下式選單下面的表
。我是用copy xpath 的方式，我試了幾乎所有element的xpath, 但是沒有一個能夠讀到
數據。不知道是我爬的網頁有防爬的設計，還是我的xpath找錯了?
以下是我的R code
# URLs
url.main <- "
https://quickfs.net/company"
url.ASX.A2M <- file.path(url.main,"A2M:AU")
# Copy xpath of tables
xpath.1 <- '//*[@id="ovr-table"]'
xpath.2 <- '//*[@id="ovr-table"]/tbody'
xpath.3 <- '//*[@id="ovr-table"]/tbody/tr[1]'
# Get html table into a data.frame
A2M <- url.ASX.A2M %>%
xml2::read_html() %>%
html_nodes(xpath=xpath.1) %>%
html_table()
A2M
# list()
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.174.219.126 (澳大利亞)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1613984007.A.4C6.html
1F：推 locka: 先用瀏覽器叫出開發人員工具檢查一下元素 02/22 17:05
2F：→ andrew43: read_html()什麼都沒讀到喔。整個網頁幾乎全是動態生成 02/22 17:26
3F：→ andrew43: 試過rselenium了嗎 02/22 17:27
4F：→ luenchang: 感謝指點selenium. 爬文發現要log in的網頁可用seleni 02/22 18:31
5F：→ luenchang: um. 但我還沒研究它的功能。 02/22 18:31