菜单

Hadoop-2.0.0-CDH4.7.0集群部署PDF

2019年11月4日 - 电脑百科

1.在每台Linux节点上安装好jdk,最好把ant一并装了,装的目录最好一致,然后统一配好java所需要的环境变量,例如:

1、 环境要求
Hadoop的运行依赖于JDK和SSH。在安装Hadoop前需确保所有的集群节点都已安装以下软件:
(1)JDK 1.6+
(2)SSH

a)        $export  JAVA_HOME=/usr/java/jdk1.6.0_16 

2、 JDK安装
(其它hadoop机器也需要安装):
a、使用xshell工具,sftp 192.168.167.148 -> lcd F:\tools\java ->cd
/home/admin/install ->put jdk-6u33-linux-x64.bin
b、cd /usr/java 目录中 安装 ./jdk-6u26-linux-x64.bin
Java环境变量(配置环境变量:/etc/profile 文件中新增以下信息):
export JAVA_HOME=/usr/java/jdk1.6.0_33
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
执行以下命令使Java环境变量立即生效:
source /etc/profile
验证是否安装成功:
java -version

b)        $export  ANT_HOME=/usr/ant/ant-1.7.0

3、 SSH安装
SSH安装:(已存在,不再安装)
sudo yum install ssh
启动SSHD服务:
service sshd start

c)        $export  JRE_HOME=/usr/java/jdk1.6.0_16/jre

4、 Hosts配置
编辑每个集群节点中的/etc/hosts文件,添加所有Master和Slave的IP和计算机名映射。如:
192.168.167.148 bigmaster
192.168.167.149 bigdata1
192.168.167.151 bigdata2

d)        $export                    
CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib:$ANT_HOME/lib

5、 创建用户组及用户
为Hadoop集群创建单独的用户组和用户,如用户组bigdata,用户bigdata。
*所有的集群节点必须使用相同的用户组及用户。
 创建用户组 groupadd bigdata
 创建用户 useradd bigdata–g bigdata
 设置用户密码 passwd bigdata                 
(注:修改密码为:bigdata@321)

e)        $export 
PATH=/usr/java/jdk1.6.0_16/bin:/usr/ant/ant-1.7.0/bin:$PATH

6、 SSH配置
Hadoop通过SSH来启动和停止远程的节点,所以需要将所有节点的SSH连接设置为无密码公钥访问。
在Master节点生成RSA密钥对,然后将公钥复制到所有Slave节点,具体步骤如下:
(1)生成RSA密钥对
cd /home/bigdata 下产生一个隐藏文件夹.ssh(ls  -a
可以查看隐藏文件)。如果没有这个文件,自己新建即可(mkdir .ssh)
具体步骤如下:
 a、进入.ssh文件夹
 b、 ssh-keygen -t rsa 之后一路回车(产生密钥)
 c、 cd /home/bigdata/.ssh/中(当前用户目录)把id_rsa.pub 追加到授权的
key 里面去(cat id_rsa.pub >> authorized_keys)
 d、重启 SSH 服务命令使其生效 :service sshd
restart(这里RedHat下为sshdUbuntu下为ssh) 
—此步权限不够,可以不需要
 e、设置权限
  chmod 700 /home/bigdata/.ssh
  chmod 600 authorized_keys
  chmod 600 id_rsa
 f、此时已经可以进行ssh localhost的无密码登陆  ssh 192.168.167.148 
(本机测试)
g、149\151 按以上步骤处理
(2)将Master上的id_rsa.pub复制到每Slave节点,具体步骤如下:
a、将master密钥追加到149\151机器
cp 148/authorized_keys authorized_keys_master
scp 148/authorized_keys_master >> /home/bigdata/.ssh
cat 149\151/home/bigdata/.ssh/authorized_keys_master >>
149\151/home/bigdata/.ssh/authorized_keys
(3)在Master节点依次SSH登录Slave节点,当出现Are you sure you want to
continue connecting
(yes/no)?提示时(仅在第一次SSH连接时出现),输入yes,若无需输入密码即可登录,则SSH已配置成功。

注:最好将这些写到~/.bash_profile里面去

Hadoop-2.0.0-CDH4.7.0集群部署PDF到到Linux公社资源站下载:

2.配置每个节点上的用户权限,强烈建议使用root用户,因为在运行Hadoop的时候,hadoop会生成tmp文件,并且对这些文件修改,用户必须得具有足够的权限,这一点曾让我欲哭无泪,曾通宵一夜调bug,未果,特引以为戒!!

——————————————分割线——————————————

          (a)给用户添加sudo的权限:

免费下载地址在

              $chmod +w /etc/sudoers

用户名与密码都是www.linuxidc.com

         $vi /etc/sudoer    添加一行: 用户名 ALL=(ALL) ALL

具体下载目录在
/2017年资料/1月/12日/CentOS
7 搭建Hadoop步骤详解 PDF/

                    $chmod –w /etc/sudoers    
注:必须得把写权限去掉,因为系统只是别具有只读权限的sudoers文件

下载方法见
http://www.linuxidc.com/Linux/2013-07/87684.htm

          (b)干脆直接将用户设为root用户组:

——————————————分割线——————————————

          $chmod +w /etc/passwd

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-01/139501.htm

                     $vi /etc/passwd      更改对应用户那一行的信息:

图片 1

                                                                
例如:zhangliuhang:x:0:0::/home/zhangliuhang:/bin/bash

                     $chmod –w /etc/passwd

3.配置每个节点上的网络环境,这是比较重要而且比较费事,首先安装ssh,安装好后,配置ssh,使得各个节点间可以互相访问,不需要手动的密码验证。

(1)生成RSA密钥,公钥:

      $ssh-keygen –t rsa –f  ~/.ssh/id_rsa

注:(一直按回车键就好)此时在~/.ssh目录下会有密钥id_rsa,和公钥id_rsa.pub

(2)将公有密钥id_rsa.pub追加到其他所有节点的~/.ssh/authorized_keys文件中,以使得本节点访问别的节点时候不需要手动输入密码验证。这有两种处理方法:

(A)在一台机器上的~./ssh/authorized_keys文件中收集好所有节点的公有密钥id_rsa.pub,然后将该文件分发到其他各个节点的相应位置。最后保证authorized_keys文件的读写权限只对所有者有读写权限,否则ssh是不会工作的!   

(B) 当集群较小的情况下,推荐使用命令ssh-copy-id  -i  ~/.ssh/id_rsa.pub
user@machine的方法将本节点的公钥传到别的节点上。

配好后可以试试ssh 看能不能不输入密码直接登录上别的节点 

图片 2

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图