作者cklonger (22)
看板java
標題[問題] hadoop 如何一次跑三種reduce
時間Fri Aug 10 14:52:11 2012
我的問題是要把一個大log檔倒入db後
再下sql
select att_id , max(timestamp) , min(timestamp) , count(1) from table_a
這件事改成用hadoop的map reduce做
我已經寫好分別對 max, min , count三件事的的reducer
att_id是map output key, value前兩個Map來的是timestamp 包成longwritable
後面一個的是intwritable
但是要分成三次來做，實在是浪費了兩次maper的處理時間
而且分成三個輸出，要再另外合併
請問有沒有辦法在一次reduce裡完成
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 210.69.230.190
1F：→ PsMonkey:這個... 你有沒有考慮在 Database 版問？ 08/10 14:54
2F：→ cklonger:這是java問題吧 我覺得會被請回來 08/10 15:30
3F：推 qrtt1:這可以去 Programming 跟 Prob_Solve，因為是演算法問題吧 08/10 18:23
4F：推 n3oanderson:Write imtermediate result to hdfs, 08/10 21:22
5F：→ n3oanderson:Then read via (empty map + reduce)*(thrice) 08/10 21:33
6F：→ ken915007:針對同一個key做事，應可以一次做完… 08/11 00:42
7F：→ cklonger:我等等把一些code放上來 08/11 07:09
8F：推 gmoz:有cloud板 08/11 19:09
10F：推 gmoz:你的問題應該不難解 08/11 19:12