安装JDK(所有节点)省略
创建统一账号:
useradd hadoop
passwd hadoop
关闭防火墙
service iptables stop
统一时间:
date -s "2014-9-10 15:11:00"
hwclock --systohc
service ntpd start
chkconfig ntpd on
vi /etc/sysconfig/seliunx
SELINUX=disabled #修改成这样,需要重启生效。
setenforce 0 #执行后不需要重启生效。
2.配置主机名
vi /etc/hosts
127.0.0.1 localhost
192.168.1.171 hadoop1
192.168.1.172 hadoop2
192.168.1.173 hadoop3
192.168.1.177 hadoop4
hostname hadoop1
vi /etc/sysconfig/network
hadoop1
配置免秘钥登入(省略)
1、查找以前是否装有mysql
命令:rpm -qa|grep -i mysql
可以看到mysql的两个包:
mysql-4.1.12-3.RHEL4.1
mysqlclient10-3.23.58-4.RHEL4.1
2、删除mysql
删除命令:rpm -e --nodeps 包名
( rpm -ev mysql-4.1.12-3.RHEL4.1 )
3、删除老版本mysql的开发头文件和库
命令:rm -fr /usr/lib/mysql
rm -fr /usr/include/mysql
注意:卸载后/var/lib/mysql中的数据及/etc/my.cnf不会删除,如果确定没用后就手工删除
rm -f /etc/my.cnf
rm -fr /var/lib/mysql
安装mysql 64位
/usr/bin/mysqladmin -u root password admin
grant all privileges on *.* to 'root'@'%' identified by 'andrew’ ;
给来自任何IP地址的用户user分配可对所有数据库的所有表进行所有操作的权限限,并设定口令为'andrew'。
Mysql配置(master节点)
--hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci
--集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci
--hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci
以上数据库,可能会根据安装组件的不同略有差别。 给用户授权(这里密码设为hadoop)
grant all on *.* to root@"%" Identified by "hadoop";
安装Cloudera Manager 5(cm5)
下载地址http://archive-primary.cloudera.com/cm5/cm/5/,根据自己的系统选择相应的版本,本次安装选用的是cloudera-manager-el6-cm5.0.0_x86_64.tar.gz。下载完成后只上传到master节点即可。然后解压到/opt目录下,不能解压到其他地方,因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找,怎么制作cdh5的本地源文件会在之后介绍。
给所有节点添加cloudera-scm用户:
useradd --system --home=/opt/cm-5.0.0/run/cloudera-scm-server --no-createhome --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
修改/opt/cm-5.0.0/etc/cloudera-scm-agent/config.ini 下面的serer_host
server_host=hadoop1
为Cloudera Manager 5建立数据库:
/opt/cm-5.0.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -padmin --scm-host localhost scm scm scm
格式是:scm_prepare_database.sh 数据库类型 数据库 服务器 用户名 密码 –scm-host Cloudera_Manager_Server所在的机器,后面那三个不知道代表什么,直接照抄官网的了。 因为我们用的是Mysql数据库,所以我们需要下载Mysql的JDBC驱动,本次从官网上下载最新稳定版:mysql-connector-java-5.1.30.tar.gz,解压之后找到mysql-connector-java-5.1.30-bin.jar放到/opt/cm-5.0.0/share/cmf/lib/目录下
开启Cloudera Manager 5 Server端:
/opt/cm-5.0.0/etc/init.d/cloudera-scm-server start
注意server首次启动不要立即关闭或重启,因为首次启动会自动创建相关表以及数据,如果因为特殊原因中途退出,请先删除所有表以及数据之后再次启动,否则将会出现启动不成功的情况。 开启Cloudera Manager 5 Agents端。 先scp /opt/cm-5.0.0到所有datanode节点上.
然后在每台机器上开启Agents端:
scp -r /opt/cm-5.0.0 root@hadoop2:/opt/cm-5.0.0
scp -r /opt/cm-5.0.0 root@hadoop3:/opt/cm-5.0.0
scp -r /opt/cm-5.0.0 root@hadoop4:/opt/cm-5.0.0
等待拷贝成功,在所有datanode节点上启动:(注意必须以管理员权限启动)
sudo /opt/cm-5.0.0/etc/init.d/cloudera-scm-agent start
浏览器启动Cloudera Manager 5 控制台(默认端口号是7180),启动成功就会看到登陆页面。
http://hadoop1:7180
账号:admin
密码:admin
先下载到本地http://archive-primary.cloudera.com/cdh5/parcels/5.0.0/,这里需要下载两样东西,首先是与自己系统版本相对应的parcel包,然后是manifest.json文件。下载完成后将这两个文件放到master节点的/opt/cloudera/parcel-repo下(目录在安装Cloudera Manager 5时已经生成),注意目录一个字都不能错,接下来打开manifest.json文件,里面是json格式的配置,我们需要的就是与我们系统版本相对应的hash码,因为我们用的是Centos6.5,所以找到如下位置:
在这个大括号的最下面找到“hash”所对应的值。
将“hash”的值复制下来6a54f45911474e1e2f98657e7fee0ff88ae801fa,然后创建一个文件,文件名与你的parel包名一致,并加上.sha后缀:
这样你的目录下将有这3个文件,将“hash”的值复制到新建的sha文件中,并保存,好了,我们的本地源制作完成了。再之后的操作就是控制台按照步骤安装即可。
打开http://hadoop1:7180,登陆控制台,默认账户和密码都是admin,安装时选择免费版,之后由于cm5对中文的支持很强大,按照提示安装即可,如果系统配置有什么问题在安装过程中会有提示,根据提示给系统安装组件就可以了。
如果在安装时选择了安装Hive,可能会遇到安装失败的问题,查看一下日志发现时安装Hive时需要安装JDBC驱动,所以同样我们将Mysql的驱动包拷贝到/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hive/lib/目录下,之后再继续安装就不会遇到问题了。
相关推荐
Centos7离线搭建安装配置Cloudera-Manager5.9.3-说明书
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx
自己整理的CDH离线部署安装指南,可依据此部署步骤开发一键部署脚本程序,从而省去手动部署敲命令的繁琐过程。由于一键部署包好几个G,就不发出来了。
cdh7.5 cloudera manager 安装全套软件和视频推荐 包含如下文件: CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel cm7.2.4-redhat7.tar.gz CM7.2.4内容: cm7.2.4\RPMS\x86_64\cloudera-manager-agent-7.2.4-7594142...
基于Ubuntu 14.04.3,搭建完全分布式CDH集群参考资料。 在公司测试环境中使用3台服务器完成搭建,
一步一步详细解析centos7.4下离线安装CDH5.14 一步一步详细解析centos7.4下离线安装CDH5.14 一步一步详细解析centos7.4下离线安装CDH5.14
CDH安装包
在RedHat 7.1 x64环境下通过rpm包及本地yum源离线部署CDH5.12.1
Cloudera Manager6.2.1
本文将介绍 Centos7.5(首先用 cat /proc/version 和 getconf LONG_BIT) 离线安装 CDH 和 Cloudera Manager 过程,软件版本如下表 1-1 所示:
详细 CDH 安装 Cloudera Manager,详细 CDH 安装 Cloudera Manager,详细 CDH 安装 Cloudera Manager
Centos.离线安装CDH..生产环境详细教程(含Spark.).docx
centos下cdh离线搭建详细过程,一些搭建过程中的小坑均有介绍
1. 本手册仅适用于 Cloudera Manager 5 以及 CDH5 以上的版本 2. Cloudera Enterprise 的是通过 parcel 包的形式进行安装的 3. Cloudera Enterprise 安装是基于外部数据库的 4. 若是由 CDH 5.3 升级至 CDH 5.4,则...
CentOS7 简易版离线安装CDH14.docx
适用于CDH最后的一个免费版本的CDH6.3.2,用于CDH的本地源搭建.这部分是Cloudera Manager部分
花一个星期整理的cdh cm中文api 绝对完整,一个不漏
Cloudera Manager安装手册(离线parcels存储库方式),基于CentOS操作系统一步步傻瓜式安装,截图记录整个部署过程。带集群功能验证,检查集群是否正常工作 目录 一、文档内容 3 二、软硬件环境 3 2.1.软件信息 3 ...
CLOUDERA-Manager_中文手册(全 高清)+ CDH安装手册.pdf
ClouderaManager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。1.实验环境:Mac下VMware虚拟机2.操作系统:...