作者ukliop (賴冬粉)
看板Cloud
標題[技術] 想問一下關於MAPREDUCE的JAVA問題
時間Mon Jul 11 15:54:44 2011
有問題想要請問一下各位~
目前在研究DATA MINING使用在雲端上
現在卡到一個問題就是!
我想要去判別我的權重值有沒有過門檻值
我的文件格式資料如下
------------------------------
all 63320.56
url1 120.56
url2 45.1
-----------------------------
想在MAP的時候讓第一行的值跑進下面每一列URL所有值的最後~
(就會變成
URL1 120.56 63320.56
URL2 45.1 63320.56
)
之後在REDUCE裡去做篩選!
只是都沒辦法成功~
各位對於這個有甚麼想法嗎?還是說有其他解決方法可供參考?
再來因為MAP都是一行一行讀文字進去的，有辦法讓他用一個變數先儲存我的總門檻值嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.128.18.47
1F：→ gmoz:1.貼個CODE出來看 然後希望輸入輸出說清楚點 07/11 21:09
2F：→ gmoz:2.可以 在JOB裡面設定 07/11 21:09
3F：→ gmoz:阿 你是要更動? 那可能不行 這是分散式架構 07/11 21:09
4F：→ gmoz:除非用檔案的方式，但是會很麻煩 你還是先說清楚一點 07/11 21:10
5F：推 nemo33:你map做啥reduce又做啥? 只是要過濾的話帶job conf 參數 07/11 22:21
6F：→ nemo33:map階段就可以過濾了 07/11 22:21
7F：→ ukliop:to gmoz 因為一直在專研這一塊把最基本的分散式架構都忘了 07/12 01:08
8F：→ ukliop:所以我知道我錯在哪裡了! 謝謝你的提醒 07/12 01:09
9F：→ ukliop:TO nemo33 關於job conf 我會再多去研究它，朝這方面試試看 07/12 01:10
10F：推 gmoz:hadoop 0.20之後已經不用job conf了 07/12 23:30