作者Gonocurrus (高那古勒斯)
看板Soft_Job
标题[请益] 如何知道Hadoop 在执行什麽
时间Thu Apr 13 11:04:43 2017
大家好
小弟刚进到一家陆资公司
使用Hadoop还做游戏的数据分析, 使用的版本是2013年的版本 0.20.2版
那边同事已经走了几轮了, 所以没有交接 (据说上海习惯跳槽来加薪, 每次30%)
所以基本上Server属於没有维护的状态
在Amazon有三台Hadoop Server一台做NameNode两台做DataNode
目前想要把关掉两个DataNode全部都给Master那台做
理论上应该是修改config的slaves加上Master这台
不过不知道怎麽关掉再重启 >''<
现在有Server权限,不过我要怎麽知道目前在运行什麽呢?
使用history已经看不到当初执行过什麽
Server上也没有运行apache, 可以看历史
不知道小弟要从何着手>''<
使用jps看
$ jps
6130 RunJar
5314 JobTracker
4580 SecondaryNameNode
5493 QuorumPeerMain
5635 HMaster
4321 NameNode
879 Jps
使用ps 去看执行参数也看不出所以然
使用下面指令看, QQ 怎麽会没有job在运行
$ hadoop job -list
0 jobs currently running
从$HADOOP_HOME 目录看起来logs还是有在update >''<
$ls -lt
hadoop hadoop 4096 Apr 13 02:59 conf
hadoop hadoop 274432 Apr 13 00:56 logs
hadoop hadoop 4096 Apr 10 04:51 ivy
hadoop hadoop 4096 Apr 5 02:41 bin
hadoop hadoop 4096 Jul 24 2013 pids
hadoop hadoop 4096 Jul 24 2013 lib
hadoop hadoop 21107 Jul 9 2013 zookeeper.out
hadoop hadoop 4096 Jun 27 2013 src
hadoop hadoop 4096 Jun 27 2013 docs
hadoop hadoop 4096 Jun 27 2013 cloudera
hadoop hadoop 100359 Mar 20 2013 build.xml
hadoop hadoop 4096 Mar 20 2013 c++
hadoop hadoop 348776 Mar 20 2013 CHANGES.txt
hadoop hadoop 7456 Mar 20 2013 cloudera-pom.xml
hadoop hadoop 4096 Mar 20 2013 contrib
hadoop hadoop 4096 Mar 20 2013 example-confs
hadoop hadoop 6842 Mar 20 2013 hadoop-ant-0.20.2-cdh3u6.jar
hadoop hadoop 3871691 Mar 20 2013 hadoop-core-0.20.2-cdh3u6.jar
hadoop hadoop 142821 Mar 20 2013 hadoop-examples-0.20.2-cdh3u6.jar
hadoop hadoop 2799061 Mar 20 2013 hadoop-test-0.20.2-cdh3u6.jar
hadoop hadoop 175835 Mar 20 2013 hadoop-tools-0.20.2-cdh3u6.jar
hadoop hadoop 10440 Mar 20 2013 ivy.xml
hadoop hadoop 13366 Mar 20 2013 LICENSE.txt
hadoop hadoop 101 Mar 20 2013 NOTICE.txt
hadoop hadoop 1366 Mar 20 2013 README.txt
hadoop hadoop 4096 Mar 20 2013 webapps
hadoop hadoop 4096 Mar 20 2013 sbin
请问有没有前辈可以稍微指导一下, 该从应该哪里着手看起
感谢<(_ _)>
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 202.175.105.50
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1492052685.A.378.html
1F：→ qrtt1: 试着用 retired 跟 hadoop 查了一下，这可能有用 04/13 11:27
3F：→ qrtt1: 查一下旧文件吧。那麽早的版本........（抖 04/13 11:28
4F：→ qrtt1: 或是试着去 hadoop 社群请个 tutor 或顾问吧。别自己乱搞啊 04/13 11:28
6F：推 v9290026: 如果有透过jobtacker跑MR可以去50030port看看有没有纪录 04/13 14:42
7F：→ v9290026: 但如果单纯操作HDFS没有透过管理的原建立如MRv1或YARN可 04/13 14:43
8F：→ v9290026: 能就比较不好找，看了一下档案应该是跑Cloudera?可以 04/13 14:43
9F：→ v9290026: 进Cloudera manager看最方便(如果有安装的话...) 04/13 14:44
10F：→ v9290026: 预设Cloudera manager port是7180 04/13 14:46
11F：→ v9290026: 然後看起来还有起HBase，原PO有很多东西可以玩了～～ 04/13 14:47
12F：→ ChungLi5566: 看起来是挺基本的hadoop,你先自己架一次 04/14 11:30
13F：→ ChungLi5566: 就知道hadoop怎麽玩了,那时期很红,文章应该都还在 04/14 11:32
16F：→ cpper: 不过你应该是先查当时版本的文件才对啊,来这问怎麽取消data 04/15 22:56
17F：→ cpper: nodes的问题，我如果是你主管的话你应该明天就不用来上班了 04/15 22:56
18F：→ home2618: 全给master... 颗颗 04/16 22:12
19F：→ Gonocurrus: @qrttl 谢谢您 04/18 09:12
20F：→ Gonocurrus: @v9290026 谢谢您, 看起来有Jobtracker 04/18 09:22
21F：→ Gonocurrus: @ChungLi5566 恩恩 我自己有建基本的起来玩 04/18 09:22
22F：→ Gonocurrus: @cpper 这版本还没有引入yarn 04/18 09:28
23F：→ Gonocurrus: @cpper 取消data node我之前有做过实验是可行的 04/18 09:29
24F：→ Gonocurrus: @cpper 不过因为NameNode这边设定不是Slave所以 04/18 09:30
25F：→ Gonocurrus: @cpper 所以要给Master做的话应该要重启才行 04/18 09:31
26F：→ Gonocurrus: @cpper 想说自己撞墙几天了, 如果不问可能更没长进>'< 04/18 09:32
27F：→ Gonocurrus: @cpper 谢谢您的建议 04/18 09:32
28F：→ Gonocurrus: @home2618 因为公司游戏现在没啥人在玩... 几只小猫 04/18 09:33