作者chrisleebos (chris)
看板Soft_Job
标题[请益] Web Data Extraction
时间Sun Jun 21 11:52:08 2009
请教大家
有人有研究过Web Data Extration吗?
是不是所有网站的资料都可以抓到呢
我找到了一个Java-based的library叫Web Harvest
在试过他给的范例後发现有的网站可以抓的到资料
但是有的不行例如gmail或yahoo mail
尤其是gmail登入後的首页开启原始码页面发现
都是JSON格式的资料已经不是一般的HTML页面
请问有人有实作过或研究过Web Data Extraction的东西吗?
有没有软体或library可以用在所有的网站上呢?
如果需要从底层写要从哪边着手? Java Scoket吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 75.53.47.129
1F：推 Anonymoux:C# 06/21 15:28
2F：推 cclien:直接从 browser 下手比较快，从 socket 开始刻太花功夫 06/22 23:56