作者willieliao (Willie Liao)
看板java
标题Re: [问题] 有人写过PageRank嘛?(Google搜寻引擎技术)
时间Fri Nov 2 14:56:47 2007
※ 引述《kians (临兵斗者皆阵列在前)》之铭言:
: 如题,Google利用页面分析+PageRank技术达成了搜寻引擎霸主的地位
: PageRank就是给予每一个网页一个value啦,用google自己发展的PageRank演算法
: 用在搜寻後的网页排序,越重要的网页会放在越前面
: 最近对PageRank满有兴趣的,要如何让电脑对数以亿计的网页进行运算
: 一般的电脑根本不可能达成吧,有点想知道演算法是怎麽写的
: 还是说关键在硬体? 用multiprocess的方式达成?
GOOG是用分散式运算
: 有人用java写过PageRank的演算法嘛?
单纯回答你的问题,有(举手)
这是我在CARNEGIE MELLON CS大二资料结构的第三还是第四个作业,两周要写出来,
而且包括CRAWLER(读取网页并TOKENIZE),INDEXER﹛让USER搜寻关键字),和PAGE
RANKING。我是用JAVA写的,据说GOOGLE是用RUBY写的,不过还请板上强者补充。
这里是我的作业的CLASS DIAGRAM,看看是不是你想要的
http://www.willieliao.com/ooad/src/default.dfPackage.wmf
: 希望能找到范例来参考一下,想对手边有的几十万笔的连结资讯算出所有url的PageRank值
: (格式(txt): url1->url2
: url1->url3
: url2->url3
: .
: .
: . )
: 不知道有没有办法办到,先谢谢各位罗
既然你只要算PAGERANK,那左边都不用管,建一个HASHMAP,对每一个右边的
URL先去看看MAP里面有没有,没有的话用URL当KEY(假设你是STRING),用一个
INTEGER HOLDER当DATA丢进去,KEY存在的话就把DATA的VALUE 加一
话说我怎麽闻到作业文的味道...
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 76.111.69.123
1F:推 kians:谢谢你 11/02 17:01