作者cklonger (22)
看板java
标题[问题] hadoop 如何一次跑三种reduce
时间Fri Aug 10 14:52:11 2012
我的问题是要把一个大log档倒入db後
再下sql
select att_id , max(timestamp) , min(timestamp) , count(1) from table_a
这件事改成用hadoop的map reduce做
我已经写好分别对 max, min , count三件事的的reducer
att_id是map output key, value前两个Map来的是timestamp 包成longwritable
後面一个的是intwritable
但是要分成三次来做，实在是浪费了两次maper的处理时间
而且分成三个输出，要再另外合并
请问有没有办法在一次reduce里完成
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 210.69.230.190
1F：→ PsMonkey:这个... 你有没有考虑在 Database 版问？ 08/10 14:54
2F：→ cklonger:这是java问题吧 我觉得会被请回来 08/10 15:30
3F：推 qrtt1:这可以去 Programming 跟 Prob_Solve，因为是演算法问题吧 08/10 18:23
4F：推 n3oanderson:Write imtermediate result to hdfs, 08/10 21:22
5F：→ n3oanderson:Then read via (empty map + reduce)*(thrice) 08/10 21:33
6F：→ ken915007:针对同一个key做事，应可以一次做完… 08/11 00:42
7F：→ cklonger:我等等把一些code放上来 08/11 07:09
8F：推 gmoz:有cloud板 08/11 19:09
10F：推 gmoz:你的问题应该不难解 08/11 19:12