hadoop集群批量快速安装

今天是我生日，在博客里放送出２份非常实用的文档。ｈａｄｏｏｐ、ｈｂａｓｅ批量安装和ｇａｎｇｌｉａ安装配置详解。首先第一篇。

ｈａｄｏｏｐ批量安装前先将ｎａｍｅｎｏｄｅ，Ｈｍａｓｔｅｒ机器安装完毕。然后准备以下文件

１、hadoop-0.20.2-CDH3B4.tar.gz

２、hbase-0.90.1-CDH3B4.tar.gz

３、hosts

４、profile

５、hbaseconf（这个是ｈｂａｓｅ中的ｃｏｎｆ文件夹的拷贝）

６、hadoopconf（这个是ｈａｄｏｏｐ中ｃｏｎｆ文件夹的拷贝）＼

将这些打包成ｃｄｈ３ｂｅｔａ４．ｔａｒ．ｇｚ

以ｈａｄｏｏｐ用户来运行脚本。

脚本一：作用是配置ｓｓｈ免登陆

ｃｏｎｆＳＳＨ．ｓｈ

#!/bin/bash

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

for((i=100;i<115;i++))
do
scp ~/.ssh/id_dsa.pub hadoop@192.168.4.$i:~/
ssh 192.168.4.$i 'mkdir .ssh;
chmod 755 .ssh;
cat id_dsa.pub >>.ssh/authorized_keys;
chmod 644 .ssh/authorized_keys;'
done

脚本二：拷贝安装ｈａｄｏｏｐ，ｈｂａｓｅ

ｉｎｓｔａｌｌＨａｄｏｏｐ．ｓｈ

#!/bin/bash
for((i=102;i<115;i++))
do
scp /home/hadoop/cdh3beta4.tar.gz hadoop@192.168.4.$i:/home/hadoop/
ssh 192.168.4.$i 'tar zxvf cdh3beta4.tar.gz;
cd cdh3beta4;
tar zxzf hadoop-0.20.2-CDH3B4.tar.gz -C /home/hadoop;
tar zxvf hbase-0.90.1-CDH3B4.tar.gz -C /home/hadoop;
ln -s /home/hadoop/hadoop-0.20.2-CDH3B4 /home/hadoop/hadoop;
ln -s /home/hadoop/hbase-0.90.1-CDH3B4 /home/hadoop/hbase;
cp hadoopconf/* /home/hadoop/hadoop/conf/;
cp hbaseconf/* /home/hadoop/hadoop/conf/;'
done

脚本三：安装ｊｄｋ１．６，配置环境变量，需要以ｒｏｏｔ用户运行

#!bin/bash
for((i=102;i<115;i++))
do
#scp /etc/hosts root@192.168.4.$i:/etc/hosts
#scp /etc/profile root@192.168.4.$i:/etc/profile
ssh 192.168.4.$i 'cp /home/hadoop/cdh3beta4/profile /etc/profile;
source /etc/profile;'
#./jdk-6u24-linux-x64-64bit-rpm.bin
#echo -e "/n"
#rm /usr/lib/jdk
#ln /usr/java/jdk1.6.0_24 /usr/lib/jdk
#cp /home/hadoop/cdh3beta4/hosts /etc/hosts
done

我是采用ｃｄｈ３版本来完成的批量安装，第一个脚本执行时需要每台机器输入密码，后两个脚本就不需要了，在大量安装ｈａｄｏｏｐ节点时应该很实用。