作者nana0130 (小那)
看板PHP
標題[請益] curl 抓google多個網頁
時間Sat Oct 23 00:36:20 2010
我爬過文，我看過有人可以用curl 抓google搜尋結果的網頁
但是我需要更多那樣的網頁
我想要抓 例如 "she love" page1 , page2, page3......看我想要多少
我想算算看，she love 這兩個字，到底出現過幾次。所以我想要更多的樣本空間
第一頁
http://www.google.com.tw/search?hl=zh-TW&source=hp&biw=1276&bih=588&q=She+love&rlz=1R2SUNC_zh-TWTW397&aq=f&aqi=g10&aql=&oq=&gs_rfai=
第二頁 把start 後面的數字改一下就可以再跳下一個page
http://www.google.com.tw/search?q=She+love&hl=zh-TW&biw=1276&bih=588&rlz=1R2SUNC_zh-TWTW397&prmd=vi&ei=ubrBTPX8DMGecaeaic0N&start=10&sa=N
對不起連結真的很長
可是這個連結不是固定的
下次搜尋別的
後面那些編碼又有一些不同
例如 he wants
第二頁又變成
http://www.google.com.tw/search?q=He+wants&hl=zh-TW&biw=1276&bih=588&rlz=1R2SUNC_zh-TWTW397&ei=2LrBTLrIDYa3cI6u7csN&start=10&sa=N
後面一截就不一樣了
我沒辦法用固定的url 去搜尋
該怎麼去撈後面的網頁呢？
paper上面都有看過人家這樣作，我相信一定是有，
有沒有高手可以教我一下
謝謝>"<
--
感謝每個幫我克服Perl關卡的人~
感謝你~雖然我不認識你~
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.20.154.148
1F：→ LewisHamiltn:google不是有search api可以用?怎不直接用？ 10/23 02:07
2F：→ nana0130:search api 是做什麼用?? 10/23 02:17
4F：→ LewisHamiltn:他直接就會丟回 estimatedResultCount.... 10/23 02:29
5F：→ nana0130:喔，這樣喔，那就要用jsp去套用他的api嚕? 10/23 03:23
6F：→ LewisHamiltn:他不是有php版的範例= =?幹麼用jsp 10/23 11:36