作者purplvampire (阿修雷)
看板Python
标题Re: [问题] 抓 google 网页的搜寻回传结果
时间Mon Jun 10 23:34:55 2019
小弟也有类似的问题想请教前辈们,是针对搜寻结果的前几个网站连结做抓取,
试过书上用bs4的选择器soup.select('.r a')抓不到连结,上网查最新的选择器
soup.select(div.g > h3.r > a[href^="/url"])也是抓不到网站连结
http://bit.ly/2WshWEH
CSS资料
https://i.imgur.com/XYYotok.png
请问我该如何正确抓取Google搜寻结果的网站连结?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 180.177.123.190 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1560180898.A.C06.html
1F:推 wsybu: 有用selenium抓吗?06/11 13:19
没耶,我试试看,谢谢
2F:推 wsybu: google search结果页面在不能使用js的情况下是另一个 06/11 20:30
3F:→ wsybu: 版型 06/11 20:30
原来如此,谢谢大大提示
※ 编辑: purplvampire (180.177.123.190 台湾), 06/11/2019 22:21:13
4F:→ TakiDog: 你requests html存出来看... 06/13 11:12
5F:→ TakiDog: 有api能用就找api 06/13 11:12