: → hilorrk:@@ 两位前辈请息怒... 08/24 00:16 这情况很正常. 在BBS或mailing-list常有这种严肃讨论. 而我个人经验,mailing-list遇到的讨论对象,比较不会有刁蛮不承认自己犯错的. : → hilorrk:就我所知 google的MapReduce并没有送"资料"吧~ 08/24 00:16 : → hilorrk:而是master assign map/reduce task给worker 而worker再去 08/24 00:17 : → hilorrk:DFS取资料...所要传输的是程式的fork? 08/24 00:18 : → hilorrk:而且采取的是类似master去polling 而非worker主动要工作? 08/24 00:21 : → hilorrk:不知这样理解对不对...改天要来好好研究一下了- -|| 08/24 00:21 你说的第一句话有一点错.请以分散式的观点思考系统环境, 环境中存在多少个map的instances,多少个reduce的instances? 最少,每个map都要知道它该读哪个档案分段,而根据map的规格, map并没有自己包含了判断它要读哪个分段的程式码. 包含了判读正确档案位置的程式,是旧世界的写法. 可以Google寻找一些介绍 MapReduce的投影片,有一些会列出旧的平行程式写法,和MapReduce平行程式写法. 所以接下来你说对了,是master polling. (polling? 其实这个词也不对啊!) Master必须要整理几种资讯: 1. 要处理的资料有多少档案. 2. 能使用的map worker有多少个. 基本上是把map fork在每个map worker没错. 但是把执行档fork成一些程序就行了吗? 当然不只,而是还要告诉每个程序要读 哪个档案或哪个分段位置(chunk index). Map worker会执行map,把档案喂进map,然後map丢出一些key-value,是放在 local store; 线上的记忆体可能不足以处理这些突然抛出的key-value. 接下来,reduce会自动理解它要从哪个map读结果吗? 起码也要看map worker和reduce worker是不是一对一对应. 通常不是. 那要怎麽做? 前面说 map 出来的东西是local store的. Reduce worker要拿到map的local store, 如果map worker和reduce worker各在不同的电脑,当然是一些类似档案传输的动作. 根据key-value的规格,是 map(key0, value0) -> {(key,value)} [local store] -> grouping( {(key,value)} ) -> (key1,{value1}) [input to reduce] -> reduce(key1, {value1}) 中间grouping的客制弹性很大,有些是说map worker做一个map之後的处理, 有些是说把key-value送到一个集中位置处理,也有人说是map worker将key-value 分割,分别送到几个固定的reduce worker那边. 甚至一组工作的定义,可能要有个规格定义明白,哪个map之後要接哪个map/reduce, 哪个reduce要接哪个map/reduce. 并不是只有worker自己知道要从哪里取资料而已. Worker哪有那麽聪明啊. 分散式系统重要的是讯息沟通. Map做完了要告诉master,然後master要通知reduce,reduce worker会向map worker 请求资料. 这些概念还蛮简单. --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 218.160.209.34