作者gmkuo (嗯嗯)
看板Google
标题Re: [问题] 用PHP抓取搜寻结果的问题
时间Thu Apr 3 14:16:20 2008
※ 引述《GALINE (星光灿烂小天竹)》之铭言:
: 我想纪录某些关键字长时间的搜寻结果数量变化
: 而我想到的做法是用PHP去抓取Google网页上的关键字
: 可是这时候碰到一个奇怪的状况
: 我自己开Firefox看到的搜寻结果数字跟PHP抓到的搜寻结果数字不一样
: 我用的搜寻网址是
: http://www.google.com.tw/search?q=%E7%A7%91%E5%B9%BB&meta=lr%3Dlang_zh-TW
: 而用file_get_contents去抓上面的网址之後,得到的是这样
: http://cqd.hiigara.net/search_logger.php
: 以我PO文的时候来说
: 自己访问Google的搜寻结果是850,000笔
: 用程式抓取网页的搜寻结果是2,060,000笔
: 为什麽会差这麽多,有人知道原因吗?
我提供一些以前的经验让你参考。
首先,那个科幻两字如果没有用""框起来做为"科幻",
是会算到有"科"有"幻"但没有"科幻"的网页记录,
例如,....科科科,傻孩子的幻想....,....幻科....。
这你要去查查Google搜寻可以下的命令参数有什麽区别,
另外是多语言的部份你要加入还是扣除,得视你的研究需要。
以前,我是用手工去查然後记录,既然你会写程式,
建议用Google API去跑,以前是单日限查询一千次,
如果你有研究计画需要且能说服Google的话,应该是可以提高上限。
至於数量大幅变化,可能是Google农场里记录这个关键字的鸽子得了禽流感没回应,
过一段可长可短的时间或许又回复,只是你也不知道究竟是怎麽回事。
然後Google所用的演算法何时修改如何修改了,你一样不知道是怎麽回事。
还要注意命令参数是否修改等,这是透过Google记录关键字数量变化的方法缺点。
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.112.40.103
1F:→ gargamel:科科,傻孩子的幻想... 04/03 15:59