作者askdrlin (中央气象局)
看板Soft_Job
标题[请益] docker cloudera 架设请教
时间Thu Dec 6 16:36:51 2018
各位前辈好,真的卡了好久快不行了.......
爬了好几天的文,还是差那麽一点
帮我解答的前辈，小弟以1000p币回报...若有同时答的以推文先的为主，谢谢QAQ
小弟我想请教一下
目前我的目标是想利用docker 去架设cloudera 分散式系统
有三台主机,主节点那台是连的到外网的固定ip,从节点两台是内网
彼此三台都可以ssh,目前我的操作流程是这样的
使用的系统是centos7
master是直接灌在主机上的centos
剩下两台slaver是用vm开的,用桥接介面卡去设定
1.修改主机名称
hostnamectl set-hostname master
hostnamectl set-hostname slaver1
hostnamectl set-hostname slaver2
2.设定hosts档案(三台都做)
vim /etc/hosts
10.***.**.*** master
10.***.**.*** slaver1
10.***.**.*** slaver2
(IP後面码掉了)
3.配置ssh无密码登入
ssh-keygen -t rsa #全部enter跳过产生密码
ssh-copy-id master
ssh-copy-id slaver1
ssh-copy-id slaver2
4.关闭防火墙
systemctl mask firewalld.service
systemctl disable firewalld.service
5.关闭selinux
sed -i '/SELINUX=enforcing/d' /etc/selinux/config
sed -i '/SELINUX=disabled/d' /etc/selinux/config
echo "SELINUX=disabled" >> /etc/selinux/config
reboot #重开
vim /etc/selinux/config # 检查档案
#SELINUX=disabled
6.禁用IPv6
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
7.ntp时间同步(没有好像也可以,但较保险)
yum install ntp
ntpdate -u time.nuri.net
三台各自准备docker
yum install docker
systemctl enable docker
systemctl start docker
systemctl status docker #检查状态
docker version #查看doceker版本
docker run hello-world #试用
主节点准备docker cloudera
docker pull cloudera/quickstart:latest
docker images #确定目前有的映象 应该有hello跟cloudera
docker run --hostname=quickstart.cloudera --privileged=true
-t -i -p 7180:7180 -p 8888:8888 docker.io/cloudera/quickstart:latest
/usr/bin/docker-quickstart #运行cloudera 这一长串是一起的
hostname #检查主机名称
service cloudera-scm-server status #检查cloudera运行状态
yum install telnet
telnet localhost 8888 #连结port端口
telnet localhost 7180 #连结port端口
docker ps #检查dokcer容器
/home/cloudera/cloudera-manager --express #检查cloudera详细
上网连线
localhost:7180
但是进去cloudera manager之後,add host会报错 如下图
https://i.imgur.com/QPwb8KH.jpg
我是有参考这个影片去做的
https://www.youtube.com/watch?v=7K0ymx2gjGw
这影片是单节点,但是他在telnet localhost 8888这边
我跟他的操作不一样QQ
他的是这样
https://i.imgur.com/eZPYkXk.jpg
而我的会变成refuse之後改成127.0.0.1
这我真的不懂为什麽QQ
问了熟网路的老师,他是说我在linux里面开一个docker之後
会变成一个虚拟IP
如果没有用端口映射的话
这个虚拟IP就没办法和自己电脑的固定IP做连结
自然也就没办法让外面的网路连进来,也不能连到我的从节点
但我爬文又重试几次 在docker run的时候 -p後面的参数真的不太会设定....
救命......快死掉了QQ
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.115.236.39
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1544085414.A.D36.html
※ 编辑: askdrlin (27.52.38.185), 12/06/2018 16:38:14
※ 编辑: askdrlin (27.52.38.185), 12/06/2018 16:40:29
※ 编辑: askdrlin (27.52.38.185), 12/06/2018 16:42:35
1F：→ honochung: 跟cloudera不熟 不过 你在manager add host ip应该会要12/06 16:47
2F：→ honochung: 是 slave的ip12/06 16:48
3F：→ askdrlin: 你好 我add host时是用slaver的ip没错,有搜寻到但是没12/06 16:50
4F：→ askdrlin: 办法连结成功12/06 16:50
5F：→ honochung: 不过 这边没看到你在slave有跑 cloudera12/06 16:51
6F：→ askdrlin: 助教是说从节点可架可不架 但是架了比较没错 主节点灌就12/06 16:53
7F：→ askdrlin: 好...12/06 16:53
8F：→ askdrlin: 且两台slaver也有架的话，三台都会变成docker的虚拟ip12/06 16:55
9F：→ askdrlin: 这样可能会更连不起来吗？12/06 16:55
10F：嘘 gofigure: 这不是功课版 你看不懂中文?12/06 16:55
11F：→ honochung: 先不要管container的ip, 他们互连都要是host的ip 12/06 16:57
12F：→ honochung: docker run --add-host="master:10.*.*.*"12/06 16:59
13F：→ honochung: --add-host="slaver1:10.*.*.*"12/06 17:00
14F：→ honochung: 这样container就可以用 master, slaver1, slaver212/06 17:01
15F：→ honochung: 我记得worker要装cloudera agent12/06 17:17
我尝试看看 谢谢你
16F：→ samuel1988: 所以你这两台都有配ip吗？12/06 17:37
17F：→ samuel1988: 指的是host ip12/06 17:38
这两台都有在网路设定那边设好了，就是hosts文件的ip
※ 编辑: askdrlin (27.52.38.185), 12/06/2018 17:40:38
18F：推 kenshin528: 用 docker compose 直接用 hostname 连不用管ip12/06 20:22
20F：→ cosmic01: 试试看上面的方法，直接publish all ports 12/06 20:39
21F：→ cosmic01: docker run -P my_app 12/06 20:39
好像还是不行QQ
22F：→ soappaos: container run 的时候--network host，使用host的netwo 12/07 15:45
23F：→ soappaos: rk stack，就可以不用forward port了 12/07 15:45
不好意思打开cloudera的时候 用这个方法他会有些failed产生...
※ 编辑: askdrlin (39.9.100.233), 12/07/2018 23:16:45
※ 编辑: askdrlin (39.9.100.233), 12/08/2018 10:29:52
24F：推 jasonwu23: 你是用docker-compose吗 12/08 12:34
25F：→ jasonwu23: 不要一个个连 看一下docker-compose 12/08 12:35
重新设定一下後，的结果是s大的--net=host可以连 谢谢各位前辈指教
※ 编辑: askdrlin (39.9.100.233), 12/08/2018 12:51:26