R_Language 板


LINE

请教各位爬虫界的先进,如何让Rselenium找到下拉式选单中对应的网页。 几周前我发问了如何把 QuickFS 网页的表格爬下来。在这个网站里,每支股票有自已的 一个网址,同一个网址下有5个页面 (Overview, Income Statement, Balance sheet, Cash flow statement, Key ratios),由一个右上角的拉下式选单来决定。网页的特点 是,不论你到那个选项,网址都是一样的。 我目前的进度是可以把主要页面 (选单中的选项= Overview) 中所有表格爬下来。接着, 我想让Rselenium可以到选单中的每个选项页面把所有表格爬下来。我参考了几篇stackoverflow 上提供的code, 但还没有一个能适用於我想爬的网页。感觉可能的方法至少有两个,一是 findElement()这个function把选单中的id及值取出; 另一个是把对应选单的element的 xpath烤下来,再套用某个function里。第一个我试了error, 第二个我也不知道如何写 xpath. 我把我的R程式, 及java, chrome driver的设定放在我的hackMD上面 。希望先进们指教。 https://i.imgur.com/fhiamGY.png 选址是 https://hackmd.io/@Chang/RSelenium_QuickFS 里面有三个部分 (1) Connect Chrome driver, RSelenium (2) Scrape all tables of the webpage where dropdown option is “Overview” (3) Scrape tables on the webpage where dropdown option is “Income Statement ” (not working) 我预到的问题是放在最後一个部分。目前我只能把我认为是和选单中选项相对应的 elements烤下来,期待有人能教我如何让 RSelenium进到对应的网页里拿表格。以下 的网页程式码看起来就是选单中的5个选项。我不解为何 con$findElement(using = 'id', value = "ovr") 会error <a _ngcontent-c4="" id="ovr">Overview</a> </li><li _ngcontent-c4=""> <a _ngcontent-c4="" id="is">Income Statement</a> </li><li _ngcontent-c4=""> <a _ngcontent-c4="" id="bs">Balance Sheet</a> </li><li _ngcontent-c4=""> <a _ngcontent-c4="" id="cf">Cash Flow Statement</a> </li><li _ngcontent-c4=""> <a _ngcontent-c4="" id="ratios">Key Ratios</a> 想学RSelenium爬虫但还没开始的朋友们,可以参考第1及2部分里的步骤。 感谢。 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.51.168.78 (澳大利亚)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1617250858.A.4FA.html
1F:→ obarisk: 要不要先用selenium ide录看看啊. 04/01 20:00







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Boy-Girl站内搜寻

TOP