作者senso ( )
看板Python
标题[问题] 网页爬虫问题
时间Wed Aug 8 23:40:42 2018
大家好，小弟在用python抓网页遇到点问题
有些网页的内容是透过js宣染画出来的
所以我使用chromedriver的headless方式去抓取
抓pchome的商品清单，我可以抓到资料，
输出的商品清单.html里可看到商品
可是商品明细页却无法，只看到像是基本的base from
我有爬过momo，yahoo，博客莱都有成功，就只有pchome会这样
不晓得问题出在哪里
请大大帮忙，谢谢
附上source code
https://github.com/godanimalsenso/PyWebTtest
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.160.143.183
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1533742845.A.B34.html
1F：→ s860134: 加个 sleep 等 ajax 把网页渲染完成 08/09 00:51
2F：→ s860134: 商品明细页面资料是用 js 拉後台资料库的资料再显示上去 08/09 00:52
3F：→ s860134: 所以你只等 html load 完直接跑 page_source 就啥都没 08/09 00:53
4F：→ s860134: 当然要聪明一点可以加个 code 去检查 js load 完了没 08/09 00:53
5F：→ senso: 没想到会是这样的问题@@ 08/09 03:42
6F：→ senso: 我加了time.sleep(1)确实有出来了 08/09 03:42
7F：→ senso: 我会再去找检查js load ，谢谢 08/09 03:43
8F：推 b24333666: pchom 要去看network的hxr 里面有一个文件满满的jso 08/09 07:13
9F：→ b24333666: n格式 08/09 07:13
10F：→ coeric: 推楼上，有json 08/09 09:37
11F：→ senso: 抓xhr是比较快，不过我四个站都是css selector抓指定栏位 08/09 19:46