※ 引述《lance70176 (十三夜)》之铭言： : 如题 最近刚开始碰JAVA一个礼拜 : 想做一个网站下载工具, 把整个网站下载存在local host : 相关的问题找蛮多 都只找到单一网页下载的范例 : 还蛮多都不完整的 还是说我该去买书了呢... 因为重点在於，只要你知道怎麽将一个 url 开 connection 然後对 stream 作处理 剩下来的就是你打算作到多仔细的问题 严格说起来，跟你用什麽语言都没有关系 要说有关系... 那大概就是你找到什麽语言有包比较完整的 library （肮脏事不灭定律 XD） 根据 n 年前作的印象，你至少需要处理几件事情： 1. 将相对路径转成绝对路径 搞懂 ../ 跟 ./ 之类乱七八糟的东西吧... 2. 搞懂可以处理网页编码的几个环节 从 http connection header 到 html meta 的 encoding 不然，除非你处理的都是英文 or 只想处理 UTF-8 可以解读的 3. 搞懂 mine type 之类的鬼东西 至少要能处理是 text 跟不是 text 的部份 4. 我建议是用 hsqldb 之类的资料库来储存/处理 你 parser 完毕取出来的 link 这样才有办法比对哪些你抓过、哪些你还没抓过 也可以一条 thread 重头砍到底 5. 处理 query string，只判断头两个 parameter （不然你爬个 blogger 就会... 嘿嘿） 6. 这个年代这招不太行了 一卡车东西都是用 ajax 喷出来的 就降子 -- 钱锺书： 说出来的话 http://www.psmonkey.org 比不上不说出来的话 Java 版 cookcomic 版 只影射着说不出来的话 and more...... --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 220.135.202.140