大数据平台Hadoop的分布式集群环境搭建

1 概述

本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图,将NameNode部署在master1,SecondaryNameNode部署在master2,slave1、slave2、slave3中分别部署一个DataNode节点

2 前期准备

对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。

(1)准备五台服务器

如:master1、master2、slave1、slave2、slave3

(2)关闭所有服务器的防火墙

(3)分别修改各服务器的/etc/hosts文件,内容如下:

注:对应修改个服务器的/etc/hostname文件,分别为 master1、master2、slave1、slave2、slave3

(4)分别在各台服务器创建一个普通用户与组

(5)各服务器间的免密码登录配置,分别在各自服务中执行一次

注:以上操作需要登录到hadoop用户操作

(6)下载hadoop包,hadoop-2.7.5.tar.gz

官网地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/

3 开始安装部署

(1)创建hadoop安装目录

(2)将安装包解压至/home/hadoop/app/hadoop下

(3)配置hadoop的环境变量,修改/etc/profile

(4)刷新环境变量

4 配置Hadoop

(1)配置core-site.xml

默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml

(2)配置hdfs-site.xml


默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

(3)配置mapred-site.xml

默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

(4)配置yarn-site.xml

默认配置地址:http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

(5)配置slaves

slaves文件中配置的是DataNode的所在节点服务

(6)配置hadoop-env

修改hadoop-env.sh文件的JAVA_HOME环境变量,操作如下:

(7)配置yarn-env

修改yarn-env.sh文件的JAVA_HOME环境变量,操作如下:

(8)配置mapred-env

修改mapred-env.sh文件的JAVA_HOME环境变量,操作如下:

(9)将master1中配置好的hadoop分别远程拷贝至maser2、slave1 、slave2、slave3服务器中

5 启动测试

(1)在master1节点中初始化Hadoop集群

(2)启动Hadoop集群

(3)验证集群是否成功

浏览器中访问50070的端口,如下证明集群部署成功

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 版权声明:本文为博主原创文章,未经博主允许不得转载。 目录-[-]1 先决条件2 实验环境搭建 21 准备工...
    三三At你阅读 850评论 0 3
  • 前言 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的...
    piziyang12138阅读 1,969评论 0 3
  • 本博客详细介绍Standalone模式下的Spark集群的部署。 1.软件硬件环境 主机操作系统:三台为实验室服务...
    Michaelhbjian阅读 847评论 2 4
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,773评论 0 14
  • 比尔·盖茨有句名言:“生活是不公平的,你要去适应它。”最近对这句话体会特别深,心想怪不得他是世界首富呢,简单一句话...
    作家格格阅读 325评论 4 4