作者luenchang (luen)
看板R_Language
标题[问题] scraping HTML tables
时间Mon Feb 22 16:53:23 2021
请教一个和爬虫相关的问题。
我想爬的是这个网页
https://quickfs.net/company/A2M:AU
里的两个tables, (1) Key Statistics及 (2) 拉下式选单下面的表
。我是用copy xpath 的方式，我试了几乎所有element的xpath, 但是没有一个能够读到
数据。不知道是我爬的网页有防爬的设计，还是我的xpath找错了?
以下是我的R code
# URLs
url.main <- "
https://quickfs.net/company"
url.ASX.A2M <- file.path(url.main,"A2M:AU")
# Copy xpath of tables
xpath.1 <- '//*[@id="ovr-table"]'
xpath.2 <- '//*[@id="ovr-table"]/tbody'
xpath.3 <- '//*[@id="ovr-table"]/tbody/tr[1]'
# Get html table into a data.frame
A2M <- url.ASX.A2M %>%
xml2::read_html() %>%
html_nodes(xpath=xpath.1) %>%
html_table()
A2M
# list()
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 110.174.219.126 (澳大利亚)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1613984007.A.4C6.html
1F：推 locka: 先用浏览器叫出开发人员工具检查一下元素 02/22 17:05
2F：→ andrew43: read_html()什麽都没读到喔。整个网页几乎全是动态生成 02/22 17:26
3F：→ andrew43: 试过rselenium了吗 02/22 17:27
4F：→ luenchang: 感谢指点selenium. 爬文发现要log in的网页可用seleni 02/22 18:31
5F：→ luenchang: um. 但我还没研究它的功能。 02/22 18:31