hadoop2.X动态添加节点教程及相关问题总结
设置hadoop运行的系统环境
修改系统hostname(通过hostname和/etc/sysconfig/network进行修改)
修改hosts文件,将集群所有节点hosts配置进去(集群所有节点保持hosts文件统一)
设置NameNode(两台HA均需要)到DataNode的免密码登录(ssh-copy-id命令实现,可以免去cp *.pub文件后的权限修改)
修改主节点slave文件,添加新增节点的ip或计算机名信息(集群重启时使用)
将hadoop的配置文件scp到新的节点上(这里特别注意一定要拷贝nameNode节点的hadoop文件夹,如果拷贝dataNode的会有问题,在最后总结)
添加DataNode
对于新添加的DataNode节点,需要启动datanode进程,从而将其添加入集群
在新增的节点上,运行sbin/hadoop-daemon.sh start datanode即可
在namenode节点刷新datanode,hdfs dfsadmin -refreshNodes
然后在namenode通过hdfs dfsadmin -report查看集群情况
也可以通过nameNode50070端口查看活动的datanode节点数
最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandWidth 67108864即可
默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%
然后启动Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可
添加Nodemanager
由于Hadoop 2.X引入了YARN框架,所以对于每个计算节点都可以通过NodeManager进行管理,同理启动NodeManager进程后,即可将其加入集群
在新增节点,运行sbin/yarn-daemon.sh start nodemanager即可
在ResourceManager,通过yarn node -list查看集群情况
问题总结:
问题一:我使用虚拟机搭建的hadoop集群,在新加入节点的时候由于新节点的MAC地址与原有节点MAC冲突,导致在ping的时候丢包?
问题原因:MAC地址冲突导致,解决办法修改MAC地址即可。修改办法自行google。(这里还有个现象:nameNode节点ping新节点,丢包,新节点pingnameNode畅通)
问题二:在复制hadoop文件夹时我复制的datanode的hadoop,最终导致,新节点与被复制节点的datanodeUuid一样(位置:{HADOOPHOME}/tmp/dfs/name/current/VERSION文件)这样会导致,被复制节点和新节点的冲突,被复制节点和新节点在web查看时,或者被复制节点出现,或者新节点出现(但均为“死节点”)
解决办法:一定要从namenode中复制hadoop文件夹
相关推荐
hadoop2.X新特性介绍
理清Hadoop1.x与Hadoop2.x区别,对比分析。 Hadoop是大数据惊世之作,必学的东西,需要知道: 它由哪些部分组成? 各自的作用是什么? 如果工作的?
hadoop2.x 介绍,及对比hadoop1.x的区别。hadoop2.x的新特性的详细介绍。
Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建
《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...
企业级Hadoop 2.x项目实战
这是一份详细,具体的Hadoop2.x的学习文档,包含了hadoop2.x中的hadfs文件系统,mr计算框架,yarn资源管理器,使用了图文的方式讲解
hadoop 2.x 安装文档 hadoop 2.5配置
Hadoop 2.x Administration Cookbook 英文epub 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
hadoop2.x安装指南.
Hadoop3.x系统文档Hadoop3.x系统文档Hadoop3.x系统文档
英文的,讲解hadoop1.x与hadoop2.x配置异同
Hadoop是大数据技术中最重要的框架之一,是学习大数据必备的第一课,在Hadoop平台之上,可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级!以企业实际生产环境为背景,增加了更...
Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。 现在让我们逐一讨论 2.1...
Hadoop 2.x Administration Cookbook 英文azw3 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
本片文档是整合的Hadoop2.X 的安装与配置,包含三个节点,希望对有所帮助
Apache Hadoop2.x 安装入门详解 PDF
NULL 博文链接:https://username2.iteye.com/blog/2267662
haddop 2.x基础的ppt文档,入门学习资料。。。。。。。
解决hadoop运行报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 需要的winutils工具包,各个版本:2.6.x 2.7.x 2.8.x 3.0