当前位置：操作系统 > Unix/Linux >>

Hadoop（CDH4发行版）集群部署

Hadoop（CDH4发行版）集群部署


 


环境部署


一、加入CDH4的YUM仓库


1.最好的办法是把cdh4的包放到自建的yum仓库中,如何自建yum仓库请看 自建YUM仓库


2.如果不想自建yum仓库，在所有的hadoop机器执行以下操作加入cdn4的yum仓库


二、创建用于namenode HA的NFS服务器


1.登录192.168.1.100,执行以下脚本 createNFS.sh


三、Hadoop Namenode & resourcemanager 主服务器 环境部署


1.登录192.168.1.1，创建脚本目录，把脚本从git仓库复制下来


2.修改hostname


3.修改部署脚本的配置文件


4.编辑hosts文件(此文件会同步到hadoop集群所有机器)


5.执行部署脚本CreateNamenode.sh


6.搭建saltstack master


a.安装


b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项


7.部署过程中已经把我的sample配置复制过去了，所以只需要修改部分配置文件


a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)


b. mapred-site.xml


c. yarn-site.xml


三、Hadoop Namenode & resourcemanager 备服务器 环境部署


1.登录192.168.1.2，创建脚本目录，从主服务器把脚本同步过来


2.执行部署脚本CreateNamenode.sh


3.同步hadoop配置文件


4.部署saltstack客户端


四、zookeeper服务器集群部署


1.安装


2.修改配置文件/etc/zookeeper/conf/zoo.cfg


3.指定当前机器的id,并开启服务


五、datanode & nodemanager 服务器部署


1.登录datanode机器,创建脚本目录，从主服务器把脚本同步过来


2.修改hostname，执行部署脚本 CreateDatanode.sh


集群初始化


一、namenode的HA高可用初始化


1.在namenode主服务器(192.168.1.1)执行zookeeper的failover功能格式化


2.把zookeeper集群服务启动(192.168.1.100 192.168.1.101 )


3.把namenode主备服务器的zkfc服务起来(192.168.1.1 192.168.1.2)


4.在namenode主服务器(192.168.1.1)格式化hdfs


5.第一次搭建namenode高可用，需要把name.dir下面的数据复制到namenode备服务器（此坑花了好多时间）


a.在主服务器(192.168.1.1)执行


b.在备服务器(192.168.1.2)执行


6.主从服务都启动


7.查看hdfs的web界面


8.现在可以尝试关闭namenode主服务，看是否能主从切换


二、hdfs集群开启


1.把所有datanode服务器启动


2.查看hdfs web界面,看是否都成为live nodes


3.如果没有问题，现在可以尝试hdfs操作


三、yarn集群开启


1.在主服务器把resourcemanager服务起来（192.168.1.1）


2.把所有nodemanager服务启动


3.查看yarn 任务追踪界面(http://192.168.1.1:9081/),看是否所有nodes都已加入


4.hadoop自带有基准测试的mapreduce实例，我们利用它来测试yarn环境是否正常


Hadoop集群的管理


一、datanode & nodemanager 节点加入


1.修改hosts表,譬如有节点192.168.1.103需要加入


2.修改hostname，同步脚本目录,并执行部署


3.开启服务


二、修改hadoop配置文件


三、监控


总结


前言


折腾了一段时间hadoop的部署管理，写下此系列博客记录一下。


 


为了避免各位做部署这种重复性的劳动，我已经把部署的步骤写成脚本，各位只需要按着本文把脚本执行完，整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里。


 


本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把CDH4放到自己的yum仓库中，能极大的提高hadoop环境部署的简易性。


 


本文的部署过程中涵盖了namenode的HA实现，hadoop管理的解决方案（hadoop配置文件的同步，快速部署脚本等）。


 


环境准备


一共用5台机器作为硬件环境，全都是centos 6.4


 


namenode & resourcemanager 主服务器: 192.168.1.1


 


namenode & resourcemanager 备服务器: 192.168.1.2


 


datanode & nodemanager 服务器: 192.168.1.100 192.168.1.101 192.168.1.102


 


zookeeper 服务器集群(用于namenode 高可用的自动切换): 192.168.1.100 192.168.1.101


 


jobhistory 服务器(用于记录mapreduce的日志): 192.168.1.1


 


用于namenode HA的NFS: 192.168.1.100


 


环境部署


一、加入CDH4的YUM仓库


1.最好的办法是把cdh4的包放到自建的yum仓库中,如何自建yum仓库请看 自建YUM仓库


2.如果不想自建yum仓库，在所有的hadoop机器执行以下操作加入cdn4的yum仓库


1


wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm


2


sudo yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm


二、创建用于namenode HA的NFS服务器


1.登录192.168.1.100,执行以下脚本 createNFS.sh


1


#!/bin/bash


2


yum -y install rpc-bind nfs-utils


3


mkdir -p /data/nn_ha/


4


echo "/data/nn_ha  *(rw,root_squash,all_squash,sync)" >> /etc/exports


5


/etc/init.d/rpcbind start


6


/etc/init.d/nfs  start


7


chkconfig  --level 234 rpcbind   on


8


chkconfig  -level 234 nfs  on


三、Hadoop Namenode & resourcemanager 主服务器 环境部署


1.登录192.168.1.1，创建脚本目录，把脚本从git仓库复制下来


 


1


yum –y install git


2


mkdir –p /opt/


3


cd /opt/


4


git clone http://git.oschina.net/snake1361222/hadoop_scripts.git


5


/etc/init.d/iptables stop


2.修改hostname


1


sh /opt/hadoop_scripts/deploy/AddHostname.sh


3.修改部署脚本的配置文件


1


vim /opt/kingsoft/hadoop_scripts/deploy/config


2


#添加master服务器的地址，也就是namenode主服务器


3


master="192.168.1.1"


4


#添加nfs服务器地址


5


nfsserver="192.168.1.100"


4.编辑hosts文件(此文件会同步到hadoop集群所有机器)


1


vim /opt/hadoop_scripts/share_data/resolv_host


2


127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4


3


::1         localhost localhost.localdomain localhost6 localhost6.localdomain6


4


192.168.1.1 nn.dg.hadoop.cn


5


192.168.1.2 nn2.dg.hadoop.cn


6


192.168.1.100 dn100.dg.hadoop.cn


7


192.168.1.101 dn101.dg.hadoop.cn


8


192.168.1.102 dn102.dg.hadoop.cn


5.执行部署脚本CreateNamenode.sh


1


sh /opt/hadoop_scripts/deploy/CreateNamenode.sh


6.搭建saltstack master


PS:类似于puppet的服务器管理开源工具，比较轻量，在这里用于管理hadoop集群，调度datanode，关于saltstack的详细请看 SaltStack部署与使用


 


a.安装


1


yum -y install salt salt-master


b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项


1


修改监听IP：


2


inte易做图ce: 0.0.0.0


3


多线程池：


4


worker_threads: 5


5


开启任务缓存：（官方描叙开启缓存能承载5000minion）


6


job_cache


7


开启自动认证：


8


auto_accept: True


c.开启服务


 


1


/etc/init.d/salt-master start


2


chkconfig  salt-master on


7.部署过程中已经把我的sample配置复制过去了，所以只需要修改部分配置文件


a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)


01


<property>


02


  <name>dfs.namenode.rpc-address.mycluster.ns1</name>


03
上一个：PostgreSql服务器的配置
下一个：hadoop部署错误解决
更多图片编程知识:

  
更多Unix/Linux疑问解答：
路由原理介绍
子网掩码快速算法
改变网络接口的速度和协商方式的工具miitool和ethtool
Loopback口的作用汇总
OSPF的童话
增强的ACL修改功能
三层交换机和路由器的比较
用三层交换机组建校园网
4到7层交换识别内容
SPARC中如何安装Linux系统(2)
SPARC中如何安装Linux系统(1)
用Swatch做Linux日志分析
实战多种Linux操作系统共存
浅析Linux系统帐户的管理和审计
Linux2.6对新型CPU的支持(2)
CopyRight © 2022 站长资源库 编程知识问答 zzzyk.com All Rights Reserved
部分文章来自网络，