Hadoop安装部署文档

机器master 机器slave Hadopp 版本 Linux hadooop1 2.6.32-431.el6.x86_64 #1 SMP Sun Nov 10 22:19:54 EST 2013 x86_64 x86_64 x86_64 GNU/Linux Linux hadooop1 2.6.32-431.el6.x86_64 #1 SMP Sun Nov 10 22:19:54 EST 2013 x86_64 x86_64 x86_64 GNU/Linux hadoop-2.5.2 2. 环境规划

Ip User/pwd Hostnme 192.168.124.145 Hadoop/123123 Hmaster 192.168.124.145 Hadoop/123123 Hslave 下面将在Hmaster所执行的命令使用黑色框,Hslave执行的命令使用灰色框. 3. 分别使用root用户,设置两台机器的主机名

在Hmaster # echo \"kernel.hostname=Hmaster\" >> /etc/sysctl.conf 保存设置，并检查：

# /sbin/sysctl -p # hostname Hmaster # vi /etc/sysconfig/network HOSTNAME=Hmaster 然后，设置主机名和IP对应关系：

# vi /etc/hosts 192.168.124.145Hmaster 192.168.124.146 Hslave 在Hslave # echo \"kernel.hostname=Hslave\" >> /etc/sysctl.conf 保存设置，并检查：

# /sbin/sysctl -p # hostname Hslave 然后，设置主机名和IP对应关系：

# vi /etc/hosts 192.168.124.145 Hmaster 192.168.124.146 Hslave 4. 分别创建用户Hmaster、Hslave

在Hmaster使用root用户创建Hadoop组，Hadoop用户 # groupadd Hadoop # useradd -g Hadoop Hadoop # passwd Hadoop 在Hslave使用root用户创建Hadoop组，Hadoop用户 # groupadd Hadoop # useradd -g Hadoop Hadoop # passwd Hadoop 5. 设置两台机器ssh无密码登录

一般系统是默认安装了ssh命令的,如果没有,自行安装。 在Hmaster，切换到Hadoop用户

第一步：产生密钥

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa Generating public/private dsa key pair. Created directory '/home/Hadoopm/.ssh'. Your identification has been saved in /home/Hadoopm/.ssh/id_dsa. Your public key has been saved in /home/Hadoopm/.ssh/id_dsa.pub. The key fingerprint is: 6e:96:18:54:e0:01:0f:09:d8:ba:9b:87:40:c3:d8:6d Hadoopm@Hmaster The key's randomart image is: +--[ DSA 1024]----+ | o..ooo.. | |. . .+ o | |oo . + | |o+. E. | |.... . S | |o + . | |.+ . = | |+ . o | | . | +-----------------+ 第二步：导入authorized_keys

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 600 authorized_keys 第三步：ssh无密码连接测试

$ ssh Hmaster 第一次登录需要密码，exit退出后，重新登录不需要 ☆如果出现提示

$ ssh -o StrictHostKeyChecking=no Hmaster 同样，在Hslave，切换到Hadoop用户 产生密钥 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa Generating public/private dsa key pair. Your identification has been saved in /home/Hadoops/.ssh/id_dsa. Your public key has been saved in /home/Hadoops/.ssh/id_dsa.pub. The key fingerprint is: a6:c2:c8:17:76:95:8a:9a:3d:c9:f1:61:67:2d:09:c5 Hadoops@Hslave The key's randomart image is: +--[ DSA 1024]----+ | .. | | .E. | | . o | | . + o | | = = S . | | . O B * . | | = O o | | . o | | | +-----------------+ 导入authorized_keys $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 600 authorized_keys ssh无密码连接测试 $ sshHslave 第四步：设置Hmaster与Hslave机器相互无密访问

进入Hmaster机器Hadoop用户的.ssh目录（Hadoop用户） $ scp authorized_keys Hadoop@Hslave:~/.ssh/authorized_keys_from_master 输入Hslave机器Hadoop的密码（Hadoop用户） Hadoops@hslave's password: authorized_keys 100% 605 0.6KB/s 00:00 进入Hslave机器Hadoop的.ssh目录（Hadoop用户） $ cat authorized_keys_from_master >> authorized_keys $ scp authorized_keys Hadoop@Hmaster:~/.ssh/authorized_keys_from_slave 输入Hmaster机器Hadoop的密码（Hadoop用户） Hadoop@hmaster's password: authorized_keys 100% 1207 1.2KB/s 00:00 进入Hmaster机器Hadoop用户的.ssh目录（Hadoop用户） $ cat authorized_keys_from_slave >> authorized_keys 第五步：互相测试无密登录 在Hmaster机器（Hadoop用户） $ ssh Hslave Last login: Tue Nov 1 23:55:42 2016 from hmaster 成功。 在Hslave机器（Hadoop用户） $ ssh Hmaster Last login: Tue Nov 1 23:56:13 2016 from hslave 成功。 6. 安装jdk

上传jdk到Hmaster及Hslave机器，并执行以下命令（Hadoop用户） $ tar -zxvf jdk-7u75-linux-x64.tar.gz 复制jdk解压路径，设置Hadoop用户环境变量 $ vi ~/.bash_profile export JAVA_HOME=/home/Hadoop/jdk1.7.0_75 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH 7. 安装hadoop-2.5.2

1.解压在Hmaser机器，解压hadoop-2.5.2.tar.gz，并创建以下文件夹（Hadoop用户）

$ tar -zxvf hadoop-2.5.2.tar.gz $ mkdir ~/dfs/ $ mkdir ~/dfs/name $ mkdir ~/dfs/data $ mkdir ~/tmp 2.修改配置文件

进入/home/Hadoop/hadoop-2.5.2/etc/hadoop目录（Hadoop用户） $ cd /home/Hadoop/hadoop-2.5.2/etc/hadoop 2.1.修改core-site.xml

$ vi core-site.xml hadoop.tmp.dir /home/Hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://Hmaster:9000 io.file.buffer.size 4096 2.2.修改hdfs-site.xml

$ vi hdfs-site.xml dfs.nameservices hadoop-cluster1 dfs.namenode.secondary.http-address Hmaster:50090 dfs.namenode.name.dir file:///home/Hadoop/dfs/name dfs.datanode.data.dir file:///home/Hadoop/dfs/data dfs.replication 1 dfs.webhdfs.enabled true 2.3.修改mapred-site.xml

$ cp mapred-site.xml.template mapred-site.xml $ vi mapred-site.xml mapreduce.framework.name yarn mapreduce.jobtracker.http.address Hmaster:50030 mapreduce.jobhistory.address Hmaster:10020 mapreduce.jobhistory.webapp.address Hmaster:19888 2.4.修改yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address Hmaster:8032 yarn.resourcemanager.scheduler.address Hmaster:8030 yarn.resourcemanager.resource-tracker.address Hmaster:8031 yarn.resourcemanager.admin.address Hmaster:8033 yarn.resourcemanager.webapp.address Hmaster:8088 8088为访问hadoop端口 2.5.修改slaves

$ vi slaves Hslave 2.6.修改hadoop-env.sh

$ vi hadoop-env.sh export JAVA_HOME=/home/Hadoop/jdk1.7.0_75 2.7.修改yarn-env.sh

$ vi yarn-env.sh export JAVA_HOME=/home/Hadoop/jdk1.7.0_75 3.将hadoop-2.5.2文件夹传输到Hslave

$ scp ~/hadoop-2.5.2 Hadoop@Hslave:~/ 8. 格式化文件系统

在机器Hmaster及Hslave $ /home/Hadoop/hadoop-2.5.2/bin/hdfs namenode -format 注意：这里的格式化文件系统并不是硬盘格式化，只是针对主服务器hdfs-site.xml的dfs.namenode.name.dir和dfs.datanode.data.dir目录做相应的清理工作。

9. 启动hdfs:

在Hmaster $ /home/Hadoop/hadoop-2.5.2/sbin $ ./start-dfs.sh 如果提示util.NativeCodeLoader: Unable to load native-hadoop library for your platform 则上传hadoop-native-64-2.5.2所以文件覆盖至/home/Hadoop/hadoop-2.5.2/lib/native/

下载地址（http://dl.bintray.com/sequenceiq/sequenceiq-bin/）

10. 启动yarn:

在Hmaster $ /home/Hadoop/hadoop-2.5.2/sbin $ ./start-yarn.sh 11. 查看进程信息

在Hmaster

在Hslave

12. 查看HDFS集群状态

http://Hmaster:50070/ http://Hmaster:8088/

13. 关闭hdfs:

$ /home/Hadoop/hadoop-2.5.2/sbin $ ./stop-dfs.sh 14. 关闭yarn:

$ /home/Hadoop/hadoop-2.5.2/sbin $ ./stop-yarn.sh