【原创】七、Hadoop 2.5.2+zookeeper高可用部署

一、原理(四大要点)

(1)保证元数据一致(edits)

namenode(fsimage  edits)

a、NFS

b、journalnode

c、zk

(2)只有一台namenode对外提供服务(proxy)

(3)接受datanode的心跳

(4)隔离

二、HDFS HA启动并测试


在Bigdata01.xxxx.com中配置:

Core-site.xml

hdfs-site.xml

把hadoop分别拷贝到bigdata02与bigdata03

$scp -r hadoop-2.5.2/ bigdata03.xxxx.com:/home/jit/app

按照以下步骤启动

启动服务

Step1 :启动Zookeeper集群bin/zkServer.sh start

在各个JournalNode节点上,输入以下命令启动journalnode服务:

$ sbin/hadoop-daemon.sh start journalnode

Step2:在[nn1]上,对其进行格式化,并启动:

$ bin/hdfs namenode –format

初始化HA在Zookeeper中状态bin/hdfs zkfc -formatZK

$ sbin/hadoop-daemon.sh start namenode

在各个NameNode节点上启动DFSZK Failover Controller,先在那台机器启动,那个机器的NameNode就是Active NameNode

sbin/hadoop-daemin.sh start zkfc

Step3:在[nn2]上,同步nn1的元数据信息:

$ bin/hdfs namenode -bootstrapStandby

Step4:启动[nn2]:

$ sbin/hadoop-daemon.sh start namenode

Step6:在[nn1]上,启动所有datanode

$ sbin/hadoop-daemons.sh start datanode

Bigdata01

Bigdata02

Bigdata03

Kill -9 bigdata01的namenode

Bigdata02变为active

上传文件

三、和ResouceManager Restart功能及配置部署与测试

三台机器yarn-site.xml分配进行配置

进行yarn启动,并查看yarn的状态

Kill掉rm1后

Rm2状态变为active

重启rm1后状态变为standy

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容