hdfs完全搭建

基本准备工作:

1、安装虚拟机软件 VMwareWorkStation

2、安装系统centOS

3、准备hdfs相关配置:

jdk(建议完全卸载centos自带的openJDK,选择自己需要的版本)

Hadoop(建议使用2.7.1)和eclipse调试使用不错,当然其他版本也没有问题

4、jdk和Hadoop解压路径

(建议放在usr/local下)

5、修改配置文件

/etc/profile

如下内容:

JAVA_HOME=/usr/jdk1.8.0_101

HADOOP_HOME=/usr/local/hadoop-1.2.1

CLASSPATH=.:$JAVA_HOME/lib

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

export HADOOP_HOME

export JAVA_HOME

export CLASSPATH

export PATH

6、修改Hadoop配置文件:

core-site.xml

hdfs-site.xml

以上两个配置文件的修改内容参照官网

http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

7、配置namenode到datannode的无秘连接

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

方法如下:

1、namenode先进行秘钥生成,然后保存到日志中(相当于执行上面两行命令)

2、datanode做上面相同的操作

3、把namenode的id_dsa文件复制到datanode上某一目录

4、把id_dsa文件内容复制到datanode的authorized_keys文件中(3步骤的目的是为了完成4)

5.检测是否实现无密码连接  在namenode ssh datanode

8、将namenode进行格式化操作

(需要在Hadoop/bin下执行如下命令:./hadoop namenode -format)

9.start-all.sh或者start-dfs.sh(前者会把mapreduce都启动了)

10.测试是否启动:可以在某台电脑用JPS命令查看

也可以在namenode机器上使用如下命令   hdfs dfsadmin -report

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 简述 hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。HA模式的集群里面会部署两台NN(最...
    mtide阅读 11,979评论 0 10
  • 简述 hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。HA联邦模式解决了单纯HA模式的性能...
    mtide阅读 14,521评论 8 20
  • 看到题目有没有一种高大上的感觉?毛线,当前是个人、是个公司都在说自己搞大数据,每天没有几个PB的数据入库,每天没有...
    丁小晶的晶小丁阅读 9,978评论 0 50
  • 我有一个梦想 与你共度晚年时光 带上锅碗 背上行囊 一起去流浪 我有一个梦想 与你徒步山林牧场 采撷青草 驱赶牛羊...
    牧羊ysr阅读 1,716评论 0 5
  • 二月天,孩儿面,晨跑第十天的时候,老天就给了我一个偷懒的不错借口。六点的闹钟响起的时候,我告诉自己,雪下的很大,今...
    Michelle晨之曦阅读 2,695评论 2 3