作者man27382210 (盐です)
看板Python
标题[问题] multi thread 爬取网页资料
时间Tue Nov 5 20:56:52 2013
大概爬了一下文好像没人问过这个问题
简单的说就是目前是用urllib2 跟 BeautifulSioup 来爬dom tree
但是我需要的可能是同时一次爬超过1000个网站 而每一个网站
可能还需要取出其中的1000个连结再继续爬...
这样时间复杂度就是 n 的 n 次方 ................
我想了几个方向
第一个是 multi thread，另外一个是好像 twisted 似乎可以
再来就是hadoop + python
当然是可以用我的模型是可以用常态分布取得一个平衡，不见得真的会
取到1000 * 1000 个
但是即使是 500 * 500 仍然是一个很可怕的数字＠＠
不知道大家有没有好的建议该怎麽做＠＠？
感谢！
--
从你的 iPhone 发出
嗄？ 你没有iPhone ?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 114.34.79.27
1F：→ NewSpec:n^n... 你要不要先把问题定义好再去抓? 11/05 22:16
2F：推 timTan:你需要的是 scrapy 11/05 23:29
3F：→ lulala453:Scrapy ++ 11/08 23:23