作者rodyforeter (rodyforeter)
看板Python
標題[問題] 爬蟲 XHR也找不到目標資料
時間Fri Dec 28 19:57:48 2018
各位大大安安
我目前在寫一個電商爬蟲
自己做了一些功課
對於動態載入的網頁通常會用調出XHR的request或是使用web driver
現在碰到的一個疑問是
某電商網頁裡面的資料
doc裡面沒有 打開xhr一一掃過也沒有找到對應的資料
所以可能會用網頁驅動去爬取
但很好奇這類型的網頁是如何得到資料的呢?
裡面有一個 jquery xhr
是否是這個東西在搞鬼??
新手發問
感謝解答 ~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.28.227.56
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1545998272.A.599.html
1F：→ nini200: 直接給網站唄 可疑的網頁都去點來看 網頁看的到基本都有 12/29 06:21
2F：推 extraymond: 也有可能是websocket嗎？ 12/29 16:24
4F：→ rodyforeter: 我想要的資料是左邊的各項目錄網址 12/29 17:56
5F：→ rodyforeter: <dl id='MenuContainer' ...下的所有 <li> 12/29 17:58
6F：推 nini200: 我google pchome 爬蟲 有影片教學 你參考一下唄 12/29 20:47
7F：→ rodyforeter: 謝謝 但是左側的那些目錄 不在xhr裡面@@ 12/29 22:38
8F：→ rodyforeter: 我再研究看看 12/29 22:40
9F：→ rodyforeter: 靈機一動在旁邊的JS裡面找到了!哈哈 12/29 22:44
10F：→ rodyforeter: 因為教學都說看XHR 結果一直找不到 謝謝大家 12/29 22:44
11F：推 jasonfghx: 哪一個網站? 12/30 14:51
12F：→ rodyforeter: 是pchome 現在已經可以了 問題是另一個更難的 momo 01/03 05:20