作者Gonocurrus (高那古勒斯)
看板Soft_Job
標題[請益] 如何知道Hadoop 在執行什麼
時間Thu Apr 13 11:04:43 2017
大家好
小弟剛進到一家陸資公司
使用Hadoop還做遊戲的數據分析, 使用的版本是2013年的版本 0.20.2版
那邊同事已經走了幾輪了, 所以沒有交接 (據說上海習慣跳槽來加薪, 每次30%)
所以基本上Server屬於沒有維護的狀態
在Amazon有三台Hadoop Server一台做NameNode兩台做DataNode
目前想要把關掉兩個DataNode全部都給Master那台做
理論上應該是修改config的slaves加上Master這台
不過不知道怎麼關掉再重啟 >''<
現在有Server權限,不過我要怎麼知道目前在運行什麼呢?
使用history已經看不到當初執行過什麼
Server上也沒有運行apache, 可以看歷史
不知道小弟要從何著手>''<
使用jps看
$ jps
6130 RunJar
5314 JobTracker
4580 SecondaryNameNode
5493 QuorumPeerMain
5635 HMaster
4321 NameNode
879 Jps
使用ps 去看執行參數也看不出所以然
使用下面指令看, QQ 怎麼會沒有job在運行
$ hadoop job -list
0 jobs currently running
從$HADOOP_HOME 目錄看起來logs還是有在update >''<
$ls -lt
hadoop hadoop 4096 Apr 13 02:59 conf
hadoop hadoop 274432 Apr 13 00:56 logs
hadoop hadoop 4096 Apr 10 04:51 ivy
hadoop hadoop 4096 Apr 5 02:41 bin
hadoop hadoop 4096 Jul 24 2013 pids
hadoop hadoop 4096 Jul 24 2013 lib
hadoop hadoop 21107 Jul 9 2013 zookeeper.out
hadoop hadoop 4096 Jun 27 2013 src
hadoop hadoop 4096 Jun 27 2013 docs
hadoop hadoop 4096 Jun 27 2013 cloudera
hadoop hadoop 100359 Mar 20 2013 build.xml
hadoop hadoop 4096 Mar 20 2013 c++
hadoop hadoop 348776 Mar 20 2013 CHANGES.txt
hadoop hadoop 7456 Mar 20 2013 cloudera-pom.xml
hadoop hadoop 4096 Mar 20 2013 contrib
hadoop hadoop 4096 Mar 20 2013 example-confs
hadoop hadoop 6842 Mar 20 2013 hadoop-ant-0.20.2-cdh3u6.jar
hadoop hadoop 3871691 Mar 20 2013 hadoop-core-0.20.2-cdh3u6.jar
hadoop hadoop 142821 Mar 20 2013 hadoop-examples-0.20.2-cdh3u6.jar
hadoop hadoop 2799061 Mar 20 2013 hadoop-test-0.20.2-cdh3u6.jar
hadoop hadoop 175835 Mar 20 2013 hadoop-tools-0.20.2-cdh3u6.jar
hadoop hadoop 10440 Mar 20 2013 ivy.xml
hadoop hadoop 13366 Mar 20 2013 LICENSE.txt
hadoop hadoop 101 Mar 20 2013 NOTICE.txt
hadoop hadoop 1366 Mar 20 2013 README.txt
hadoop hadoop 4096 Mar 20 2013 webapps
hadoop hadoop 4096 Mar 20 2013 sbin
請問有沒有前輩可以稍微指導一下, 該從應該哪裡著手看起
感謝<(_ _)>
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 202.175.105.50
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1492052685.A.378.html
1F：→ qrtt1: 試著用 retired 跟 hadoop 查了一下，這可能有用 04/13 11:27
3F：→ qrtt1: 查一下舊文件吧。那麼早的版本........（抖 04/13 11:28
4F：→ qrtt1: 或是試著去 hadoop 社群請個 tutor 或顧問吧。別自己亂搞啊 04/13 11:28
6F：推 v9290026: 如果有透過jobtacker跑MR可以去50030port看看有沒有紀錄 04/13 14:42
7F：→ v9290026: 但如果單純操作HDFS沒有透過管理的原建立如MRv1或YARN可 04/13 14:43
8F：→ v9290026: 能就比較不好找，看了一下檔案應該是跑Cloudera?可以 04/13 14:43
9F：→ v9290026: 進Cloudera manager看最方便(如果有安裝的話...) 04/13 14:44
10F：→ v9290026: 預設Cloudera manager port是7180 04/13 14:46
11F：→ v9290026: 然後看起來還有起HBase，原PO有很多東西可以玩了～～ 04/13 14:47
12F：→ ChungLi5566: 看起來是挺基本的hadoop,你先自己架一次 04/14 11:30
13F：→ ChungLi5566: 就知道hadoop怎麼玩了,那時期很紅,文章應該都還在 04/14 11:32
16F：→ cpper: 不過你應該是先查當時版本的文件才對啊,來這問怎麼取消data 04/15 22:56
17F：→ cpper: nodes的問題，我如果是你主管的話你應該明天就不用來上班了 04/15 22:56
18F：→ home2618: 全給master... 顆顆 04/16 22:12
19F：→ Gonocurrus: @qrttl 謝謝您 04/18 09:12
20F：→ Gonocurrus: @v9290026 謝謝您, 看起來有Jobtracker 04/18 09:22
21F：→ Gonocurrus: @ChungLi5566 恩恩 我自己有建基本的起來玩 04/18 09:22
22F：→ Gonocurrus: @cpper 這版本還沒有引入yarn 04/18 09:28
23F：→ Gonocurrus: @cpper 取消data node我之前有做過實驗是可行的 04/18 09:29
24F：→ Gonocurrus: @cpper 不過因為NameNode這邊設定不是Slave所以 04/18 09:30
25F：→ Gonocurrus: @cpper 所以要給Master做的話應該要重啟才行 04/18 09:31
26F：→ Gonocurrus: @cpper 想說自己撞牆幾天了, 如果不問可能更沒長進>'< 04/18 09:32
27F：→ Gonocurrus: @cpper 謝謝您的建議 04/18 09:32
28F：→ Gonocurrus: @home2618 因為公司遊戲現在沒啥人在玩... 幾隻小貓 04/18 09:33