社区 首页 教程频道

Hadoop集群节点扩展

2019-10-8 15:13
因为Hadoop集群的三个节点磁盘存储空间不足,经常导致集群服务出现停止运行,因此对三个节点的集群做了一次节点扩展,将原有的三个节点扩展为8个节点,以下是操作过程:

1、以root用户身份登录新增加的5个物理服务器,修改/etc/sysconfig/network文件,将主机名分别修改为datanode03 datanode04 datanode05 datanode06 datanode07

2、关闭新增加的5台物理服务器的防火墙和SElinex

3、修改所有节点的/etc/hosts

4、在新增加的5台服务服务器上安装JDK,注意安装目录和版本与原来三个节点要一致。

5、为新增加的5个物理服务器新建Hadoop用户

6、以Hadoop用户身份登录,配置所有节点之间的SSH免密码登录

7、因为原有三个节点的dfs.namenode.name.dir目录为file:/hdfs/name,所以以root身份在新增加的5台主机上新建/hdfs文件夹,并修改文件夹机器子目录的用户和用户组

chown -R hadoop hdfs

chown -R :hadoop hdfs

8、将主节点namenode中的hadoop安装文件复制到新增加的5个节点中,

9、修改所有节点下的hadoop中的slaves文件,增加如下内容

10.30.16.34 datanode03
10.30.16.35 datanode04
10.30.16.36 datanode05
10.30.16.37 datanode06
10.30.16.38 datanode07

10、修改hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件将HDFS中数据的副本数改为3

11、在新增5个节点的hadoop安装目录下执行sbin/hadoop-daemon.sh start datanode启动datanode

12、在新增5个节点的hadoop安装目录下执行sbin/yarn-daemons.sh start nodemanager启动yarn

13、在主节点执行hadoop dfsadmin -refreshNodes以刷新识别新增加的节点

14、在主节点执行bin/hadoop dfsadmin -report看新增加节点有没有生效

15、在主节点执行sbin/start-balancer.sh进行数据的负载均衡

16、将主节点的HBase安装文件复制到新增节点的相应目录下,并修改所有节点的HBase安装文件中的regionserver文件,新增如下内容

10.30.16.34 datanode03
10.30.16.35 datanode04
10.30.16.36 datanode05
10.30.16.37 datanode06
10.30.16.38 datanode07

17、在新增节点HBase安装目录下执行bin/hbase-daemon.sh start regionserver启动新增节点的HBase。

路过

雷人

握手

鲜花

鸡蛋
粉丝 阅读766 回复0
上一篇:
使用360 Atlas配置MySQL读写分离发布时间:2019-10-08
下一篇:
Hadoop集群安装部署发布时间:2019-10-08

周一至周日9:00-18:00

反馈建议

service#bjjem.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! © 2001-2019