前几天站上使用者(嗯，我自己有个小BBS)问我对於这个搜寻引擎的看法， 原本还没搞懂他是怎麽抓资料的，随便的回应了一下， 今天花了些时间把这儿的文都爬完，看来比想像中的严重啊… 这个引擎比我想像中的暴力，而且不是透过正常程序来取得文章， 可能是注册一个 robot 帐号，或是透过 guest， 加上一个改装过的 telnet client， 到站上一个一个的看板去作砍站的动作… 先设定好进入看板列表以及每个板文章列表的按键， 然後进入各板後一篇一篇文章往下扫， 遇到新的 header 就算下一篇， 像 Ptt 这种大站，可能同时开好几个分身在扫吧？ 如果取得索引的作法真的是这样，那就没什麽好谈的了… 我的态度会跟 Ptt 这边乡民的态度一样。 接着，以下言论可能会让我搬石头砸自己的脚， 跟我之前写关於部落格观察黑名单的角度不太相同… 应该说，blog 跟 BBS 对我而言，是两种不同的媒介， 而会让我用不同的态度去面对吧(这也是台湾BBS的独特生态吧)。 而且，让人自己来输入，跟站方主动去砍资料，本来就有很大的差异… 要去取得一个 BBS 站台内的文章资料，正确的方式应该是先知会站长， 或是至少像正常的搜寻引擎，有个 robot.txt 可以设定， 之後不管透过什麽方式，再一一去取得资料。 (甚至应该让各板有可以自行设定是否要被搜寻到的权限) 不然，讲难听一点，这跟锁匠自己拿着开锁的工具去行窃有何两样？ 打了一把神兵利器，就杀几个人看看好不好用？ 再者，其实不论 Google 或是 Yahoo，对於数字的辨识都会自动略过， 除了数字很难模糊比对之外，数字通常也涉及到个人隐私的部份， 例如 ip、电话号码、身份证… 试想一下，如果不把这些东西加以过滤， 我今天写个程式暴力的去砍 Google 的搜寻引擎， 从身份证字号 A100000000 跑到 Z999999999，可以扫出多少对应的姓名？ 或是手机号码去找出个人资料？ 而 BBS 的文章大多有纪录 ip，这也是目前使用者最介意的一项吧… 要判断 key 是不是数字很简单，YouSee 要快改掉。 再来是 id 的部份… 我觉得会被用 id 去搜寻在所难免啦， 连我自己都做过一个板一个板去扫某个 id 的事情啊 :p 只是不要成为有心人士可以加以利用的工具， 亦即不要把 id 变成独立的栏位… 例如找 wildcat，会把整篇文章里面有 wildcat 的都列出来… 增加要找到特定人士的困难度。 之前部落格观察，有些人的部落格被加入就哇哇叫了， 这种玩意抗议的声浪会更大也很正常 XD 不过，能把 Ptt 整个砍进去，这演算法(或是硬体)相当够力啊 XD 讲了这麽多，还是请 YouSee 站方慎重的考虑一下使用的方式吧。 (拿走了也要不回来了，就算不开放使用， 其实 Ptt 现在所有的内容已经被复制一份到 YouSee 的 Index 去， 至少站方想找什麽都方便的很了吧… Orz ) 本文同步发表於 WD 个人板跟我自己的 Blog… 参考阅读： * 给我不被加入黑名单的名单！ http://blog.wildcat.tw/p_382.php * 部落格观察 http://look.urs.tw --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 219.84.164.139