Hadoop1.0.4集群安装
2013年4月14日 星期日
Hadoop集群的安装
一 安装计划
虚拟机：VMware9.0
操作系统：CentOS5.8
Hadoop：Hadoop1.0.4
网段为：192.168.201.1
三个节点分别为：
Master：192.168.201.11
Slave1: 192.168.201.12
Slave2：192.168.201.13
Java：jdk7u
工具：SecureCRT
二 虚拟机的安装及配置
2.1 虚拟机的安装就不详述了
三 CentOS的安装及配置
3.1 安装也不详述
3.2 配置
3.2.1 首先将虚拟机的网卡设置为host-only，
物理机器的虚拟网卡VMnet1的IP设置为192.168.201.1，以后建立的虚拟集群都在这个网段
3.2.2 启动系统，进入root用户
3.2.3 CentOS刚安装完毕，要进行初始化设置，使得一些基本命令可以直接使用，不用再输入绝对路径
⑴ 配置/etc/profile文件，
在文件末加入以下语句：
PATH=$PATH:/sbin ＃在PATH变量后追加/sbin目录
export PATH=$PATH:/sbin＃设置变量为全局的
⑵ 配置/home/user/.bash_profile文件，
在PATH后面添加/sbin:/usr/sbin:/usr/local/sbin:/usr/kerberos/sbin这几个路径。
3.2.4 编辑/etc/sudoers文件，使得普通用户可以以root权限执行命令，就是命令前可以使用“sudo”
⑴ 添加文件的写权限。chmod u+w /etc/sudoers
⑵ 编辑/etc/sudoers文件。在"root ALL=(ALL) ALL"下面添加"user ALL=(ALL) ALL"(这里的user是用户名)，退出
⑶ 注释掉：Defaults requiretty所在的行。即：#Defaults requiretty
⑷ 撤销文件的写权限。chmod u-w /etc/sudoers。
3.2.5 编辑/etc/sysconfig/network-scripts/ifcfg-eth0，设置网卡的为静态获取IP，并设置IP地址
注：这个我在安装CentOS时已经配置为静态IP，如果同学安装的时候没有配置为静态的，可以配置此
文件配置，具体不在详述
3.2.6 编辑/etc/sysconfig/network和/etc/hosts设置机器名
⑴ hostname=master
⑵ 修改为
127.0.0.1 localhost
192.168.201.11 master
192.168.201.12 slave1
192.168.201.13 slave2
3.2.7 重启虚拟机
3.2.8 可以看到sudo已经可以使用了，ifconfig也可以直接用了，主机名也已经改了
四 JDK安装
4.1 SecureCRT的使用
4.1.1 启动SecureCRT（安装不详述）
4.1.2 连接192.168.201.11
4.1.3 打开SecureFX，将JDK复制到虚拟机中
4.2 将压缩包解压
4.3 编辑/etc/profile文件，加入以下几行 --注jdk的具体安装位置和版本自行修改
export JAVA_HOME=/home/elvis/jdk1.7.0_17
export JRE_HOME=/home/elvis/jdk1.7.0_17/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
4.4 source /etc/profile --使配置生效
4.5 java -version
可以看到java的版本信息，安装成功
五 虚拟集群架设流程
5.1 连接到虚拟机master（192.168.201.11）
5.2 查看一下开机自动启动的服务，关闭其中一些不必要的，可以加快开机速度并减少内存占用
有很多服务没必要开启
chkconfig --list
需要关闭的服务有如下几个：
echo "123456" | sudo -S 这个前缀可以使得普通用户不必在使用root权限
的时候再输入密码了
echo "123456" | sudo -S chkconfig sendmail off
echo "123456" | sudo -S chkconfig bluetooth off
echo "123456" | sudo -S chkconfig NetworkManager off
echo "123456" | sudo -S chkconfig acpid off
echo "123456" | sudo -S chkconfig apmd off
echo "123456" | sudo -S chkconfig dund off
echo "123456" | sudo -S chkconfig pand off
echo "123456" | sudo -S chkconfig capi off &nb
