网站开发语言哪种简单,广州seo搜索,沈阳微信网站,网页模板下载html格式一、部署工具简介
1. Hadoop生态系统
Hadoop big data ecosystem in Apache stack 2. Hadoop的发行版本
Hadoop的发行版除了Apache的开源版本之外#xff0c;国外比较流行的还有#xff1a;Cloudera发行版(CDH)、Hortonworks发行版#xff08;HDP#xff09;、MapR等国外比较流行的还有Cloudera发行版(CDH)、Hortonworks发行版HDP、MapR等所有这些发行版均是基于Apache Hadoop衍生出来的因为Apache Hadoop的开源协议允许任何人对其进行修改并作为开源或者商业产品发布。 国内主流的商业版Hadoop平台 华为——FusionInsight HD简称FI腾讯——Tbds阿里——飞天相对其他版本修改比较大明略——Nest星环——Tdc浪潮——云海Insight CDH是Cloudera基于Apache Hadoop衍生出的发行版其代码部分开源提供了管理布置工具ClouderaManager HDP是Hortonworks公司2018年并入cloudera公司基于Apache Hadoop衍生出的发行版其代码全部开源采用Ambari进行管理和部署
3. 部署工具介绍
大数据集群管理方式分为手工方式Apache hadoop和工具方式Ambari hdp 和Cloudera Manger CDH。手工方式太过复杂是一个艰辛的过程在企业应用中一般采用工具部署方式。Ambari和Cloudera Manager这两个系统目的就是简化Hadoop生态集群的安装、配置同时提高Hadoop运维效率以及对Hadoop集群进行监控。
1Ambari是Apache软件基金顶级项目它是一个基于web的工具用于安装、配置、管理和监视Apache Hadoop集群支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力以友好的用户界面对它们的性能特性进行诊断。 Apache Ambari 项目旨在通过开发用于配置管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观易用的 Hadoop 管理 Web UI。 Ambari提供了如下功能 提供了跨任意数量的主机安装 Hadoop 服务的分步向导。处理群集的 Hadoop 服务配置。提供集中管理用于在整个集群中启动停止和重新配置 Hadoop 服务。 提供了一个仪表板用于监控 Hadoop 集群的运行状况和状态。利用 Ambari 指标系统进行指标收集。利用 Ambari Alert Framework 进行系统警报并在需要您注意时通知您例如节点出 现故障剩余磁盘空间不足等。 2Cloudera Manager是cloudera公司的一个产品着重于帮助大家管理自己的CDH集群通过Cloudera Manager统一的UI界面来快速地自动配置和部署CDH和其相关组件同时Cloudera Manager还提供了各种丰富的可自定义化的监视诊断和报告功能集群上统一的日志管理功能统一的集群配置管理和实时配置变更功能多租户功能高可用容灾部署功能和自动恢复功能等 方便企业统一管理和维护自己的数据中心。Cloudera Manager产品也是我们主要的安装内容和介绍对象。它细分为免费的Express版本和功能完全并提供众多增值服务的收费版本Enterprise
3Ambari VS ClouderaManager
主要的不同点apache AmbariClouderaManager Express(免费版)配置版本控制和历史记录支持不支持二次开发支持不支持集成支持no (不支持redis、kylin、es)维护依靠社区力量cloudera做了一些定制开发自行维护或打patch会离社区越来越远权限控制ranger(相对简单)sentry(复杂)视图定制支持创建自己的视图添加自定义服务不支持
二、准备工作
1.基础环境 操作系统CentOS 7 数据库MySQL 浏览器 JDK https://supportmatrix.hortonworks.com https://supportmatrix.cloudera.com/#Hortonworks 本手册选择CentOS7 Ambari 2.6 HDP 2.6.3
HDPhttp://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz
ambarihttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz
HDP-UTILShttp://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
相关软件资源可在文末百度网盘资源中进行下载
2.系统最小要求 软件需求 内存需求 最大打开文件需求
2.1 软件需求
On each of your hosts: yum and rpm (RHEL/CentOS/Oracle/Amazon Linux) zypper and php_curl (SLES) apt (Debian/Ubuntu) scp, curl, unzip, tar, wget, and gcc* OpenSSL (v1.01, build 16 or later) Python (with python-devel)*
*Ambari Metrics Monitor uses a python library (psutil) which requires gcc and python-devel packages.
2.2 内存需求
Ambari主机应该至少有1 GB RAM500 MB空闲
检测可用内存
free -m运行 AMC(Ambari Metrics Collector)主机的内存和硬盘要求:
Number of hostsMemory AvailableDisk Space11024MB10GB101024MB20GB502048MB50GB1004096MB100GB3004096MB100GB5008096MB200GB100012288MB200GB200016384MB500GB
3.环境准备
主机规划
IPhostnamememorydisk space功能192.168.91.128master2G30G192.168.91.129slave11G30G192.168.91.130slave21G30G
3.1 安装虚拟机 VMware Workstation VBox VMware Player Hyper-V 下载文末网盘资源中的文件vmware_177981.zip、CentOS-7-x86_64-Minimal-2009.iso
1安装虚拟机软件VMware
安装增强型键盘驱动程序选中后在虚拟机中使用键盘更加流畅 在最后一步时点击许可输入如下的某一条许可即可 ZF3R0-FHED2-M80TY-8QYGC-NPKYF
YF390-0HF8P-M81RQ-2DXQE-M2UT6
ZF71R-DMX85-08DQY-8YMNC-PPHV8(2) 创建虚拟电脑
点击“创建新的虚拟机” 选择典型模式创建虚拟电脑 选择系统的安装文件这里不设置然后创建虚拟机后再进行相应设置 对虚拟机命名注意位置的设置尽量选择剩余空间多的盘符。 磁盘大小设置这里设为30G 最后点完成即可。
3 安装CentOS
选择Install CentOS 7开始安装虚拟机 选择语言选择English即可 选择时区、硬盘分区、网卡信息 设置ROOT账户密码 重启完成安装
3.2 安装初始软件
yum -y install ntp openssh wget vim openssh-clients openssl gcc openssh-server python-devel 3.3 安装JDK
下载文末网盘资源中的文件jdk-8u112-linux-x64.tar.gz
借助工具比如xftp, lrzsz, Winscp将上面文件上传到虚拟机master
(1)安装
解压jdk-8u112-linux-x64.tar.gz
tar -xvf jdk-8u112-linux-x64.tar.gz -C /opt 运行命令 vi /etc/profile修改环境变量在文件末尾添加如下内容
export JAVA_HOME/opt/jdk1.8.0_112
export PATH${JAVA_HOME}/bin:$PATH执行如下命令使生效
source /etc/profile(2) 测试
java -version3.4 关闭防火墙
systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld #关闭开机启动
systemctl status firewalld #查看防火墙状态3.5 关闭SELinux、PackageKit、检测umask值
1使用如下命令关闭SELinux
setenforce 0修改配置文件进行配置 vim /etc/selinux/config
# This file controls the state of SELinux on the system.# SELINUX can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUXdisabled# SELINUXTYPE can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPEtargeted2如果系统有安装 PackageKit需要修改配置文件vim /etc/yum/pluginconf.d/refresh-packagekit.conf
enabled03确保umask值为0022
#查看
umask
#修改为0022
umask 0022针对所有交互用户进行永久性修改
echo umask 0022 /etc/profile3.6 最大文件描述
最大文件描述至少需要10000可通过如下命令查看
ulimit -Snulimit -Hn可通过如下命令修改
ulimit -n 65535ulimit为shell内建指令可用来控制shell执行程序的资源, 可用ulimit -a 查看资源限制的设定 另外也可以通过修改配置文件vi /etc/security/limits.conf在文件尾部添加如下代码即可
# End of file
* soft nofile 65535
* hard nofile 65535
* soft nproc 131072
* hard nproc 1310723.7 修改网络配置
1修改IP地址
修改配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPEEthernet
BOOTPROTOstatic
DEFROUTEyes
NAMEens33
DEVICEens33
ONBOOTyes
IPADDR192.168.91.129
NETMASK255.255.255.0
GATEWAY192.168.91.2
DNS1114.114.114.114
DNS28.8.8.8注意IP段需要查看VMware的虚拟网络配置情况可以通过菜单编辑 - 虚拟网络编辑器 - VMnet8查看 如下图所示的配置截图则需要把上面配置项修改为 IPADDR192.168.121.129
GATEWAY192.168.121.2重启网络
/etc/init.d/network restart(2) 修改主机名 hostnamectl --static set-hostname slave1centos7后可以使用hostnamectl命令进行主机的配置实际上是修改的/etc/hostname文件 3.8 克隆主机
根据slave1主机克隆master和slave2主机以下步骤以克隆slave2为例类似配置master主机
首先关闭slave1主机
shutdown -h nowshe右键主机slave1, 选择管理 - 克隆 进入克隆向导 …略 克隆好slave2主机后启动slave2, 并按3.7步骤一样修改ip为192.168.91.130和主机名slave2
克隆好master主机后启动master, 并按3.7步骤一样修改ip为192.168.91.128和主机名master
4.集群准备
IPhostnamememorydisk space功能192.168.91.128master2G30G192.168.91.129slave11G30G192.168.91.130slave21G30G
注意内存允许的情况下建议适当增加虚拟机内存。
4.1 hosts配置
**目的**实现通过名称来查找相应的服务器
在主机master配置vi /etc/hosts,在文件末尾添加如下内容
192.168.91.128 master
192.168.91.129 slave1
192.168.91.130 slave2使用scp同步到salve1, slave2
scp /etc/hosts rootslave1:/etc/
scp /etc/hosts rootslave2:/etc/注意在远程拷贝过程中需要输入远程主机的密码 scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。 语法 scp [-1246BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file]
[-l limit] [-o ssh_option] [-P port] [-S program]
[[user]host1:]file1 [...] [[user]host2:]file2简易写法 scp [可选参数] file_source file_target可以参考菜鸟教程https://www.runoob.com/linux/linux-command-manual.html 4.2 同步时钟
**目的**在master服务器上启动ntp服务然后slave1和slave2每10分钟同步一次时间
master主机
配置vi /etc/ntp.conf systemctl start ntpd.service #启动服务
systemctl enable ntpd.service #开机启动slave1、slave2主机 在slave2和slave2的主机上运行如下命令可以让它们的时间与master服务器同步 ntpdate master将时间同步设为定时任务运行如下命令设置定时任务 crontab -e编辑如下内容 */10 * * * * /usr/sbin/ntpdate masterLinux crontab是用来定期执行程序的命令。 当安装完成操作系统之后默认便会启动此任务调度命令。 crond 命令每分锺会定期检查是否有要执行的工作如果有要执行的工作便会自动执行该工作。 * * * * *
- - - - -
| | | | |
| | | | ----- 星期中星期几 (0 - 7) (星期天 为0)
| | | ---------- 月份 (1 - 12)
| | --------------- 一个月中的第几天 (1 - 31)
| -------------------- 小时 (0 - 23)
------------------------- 分钟 (0 - 59)参考菜鸟教程https://www.runoob.com/linux/linux-comm-crontab.html 4.3 免密登录
配置master节点无密码登录到其他节点在master节点上操作
ssh-keygen -t rsa #一直Enter键
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2测试如果不需要输入密码而顺利打印出时间信息则免密登录设置成功 ssh slave1 date; ssh slave2 date; ssh master date;三、创建本地源
这部分操作只需要在master主机上操作即可
下载文末网盘资源中的文件ambari-2.6.0.0-centos7.tar.gz、HDP-2.6.3.0-centos7-rpm.tar.gz、HDP-UTILS-1.1.0.21-centos7.tar.gz
借助工具比如xftp, lrzsz, Winscp上传到虚拟机master的/root目录。
1. 安装httpd服务
yum -y install httpd #安装httpd
systemctl restart httpd.service #开启httpd服务
systemctl enable httpd.service #开机启动2. 将包放到/var/www/html目录
tar -zxvf /root/ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/
tar -zxvf /root/HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/
mkdir /var/www/html/HDP-UTILS
tar -zxvf /root/HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/HDP-UTILS试试能否成功访问http://192.168.91.128
3. 制作本地源
3.1 安装本地源制作相关工具
yum install yum-utils createrepo yum-plugin-priorities repolist -y
createrepo /var/www/html3.2 修改源地址
(1) 修改ambari.repo
vi /var/www/html/ambari/centos7/2.6.0.0-267/ambari.repo修改内容如下:
#VERSION_NUMBER2.6.0.0-267
[ambari-2.6.0.0]
nameambari Version - ambari-2.6.0.0
baseurlhttp://master/ambari/centos7/2.6.0.0-267
gpgcheck1
gpgkeyhttp://master/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled1
priority1cp /var/www/html/ambari/centos7/2.6.0.0-267/ambari.repo /etc/yum.repos.d/(2) 修改hdp.repo
vi /var/www/html/HDP/centos7/2.6.3.0-235/hdp.repo内容如下
#VERSION_NUMBER2.6.3.0-235
[HDP-2.6.3.0]
nameHDP Version - HDP-2.6.3.0
baseurlhttp://master/HDP/centos7/2.6.3.0-235
gpgcheck1
gpgkeyhttp://master/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled1
priority1[HDP-UTILS-1.1.0.21]
nameHDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurlhttp://master/HDP-UTILS
gpgcheck1
gpgkeyhttp://master/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled1
priority1
cp /var/www/html/HDP/centos7/2.6.3.0-235/hdp.repo /etc/yum.repos.d/上面就创建好了主机上的文件然后可以通过下面命令清除yum的缓存
yum clean all
yum makecache
yum repolist可以打开浏览器查看一下 http://master/ambari/centos7/ http://master/HDP/centos7/ 如果希望在本地计算机上使用http://master/ambari/centos7/和http://master/HDP/centos7/访问, 需要配置本机的hosts文件 C:\Windows\System32\drivers\etc\hosts, 添加如下内容即可 192.168.91.128 master
192.168.91.129 slave1
192.168.91.130 slave23.3 同步源文件
将创建好的源文件拷贝到子节点
cd /etc/yum.repos.d
scp ambari.repo slave1:/etc/yum.repos.d/ambari.repo
scp ambari.repo slave2:/etc/yum.repos.d/ambari.repo
scp hdp.repo slave1:/etc/yum.repos.d/hdp.repo
scp hdp.repo slave2:/etc/yum.repos.d/hdp.repo四、安装Ambari
Ambari有两种安装模式
一种是使用默认postgresql数据库的存储安装元数据使用第三方数据库作为Ambari元数据库
我们这里使用mysql数据库作为Ambari元数据库
下载文末网盘资源中的文件ambari-2.6.0.0-centos7.tar.gz、MySQL-5.6.46-1.el7.x86_64.rpm-bundle.tar、mysql-connector-java-5.1.40.jar
借助工具比如xftp, lrzsz, Winscp上传到虚拟机master的/root目录。
1. 安装Ambari服务 yum -y install ambari-server如果出现安装失败请检查本地源创建是否成功
2.配置Ambari 2.1 卸载MariaDB 和 已有MySQL
rpm -qa | grep -i mariadbrpm -e --nodeps mariadb-libs-5.5.52-1.el7.x86_64同样的方法卸载已有的MySQL
删除服务
systemctl list-unit-files --typeservice | grep -i mysql如果查找到mysql服务使用下面的命令进行删除
chkconfig --del mysql2.2 安装mysql数据库 下载安装包 https://dev.mysql.com/downloads/mysql/5.6.html#downloads 本文末尾的网盘资源中已经提供了相应安装包MySQL-5.6.46-1.el7.x86_64.rpm-bundle.tar请使用相应工具比如winscp将该文件上传到目录/root 安装依赖 yum -y install perl autoconf安装 tar -xvf MySQL-5.6.46-1.el7.x86_64.rpm-bundle.tar
rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm
rpm -ivh MySQL-server-5.6.46-1.el7.x86_64.rpm#查看安装时产生的随机密码
cat /root/.mysql_secret#启动mysql
service mysql start mysql -uroot -p #登入mysql
Enter password: #输入刚才查看的随机密码
mysql set password for rootlocalhost password(123456); #修改密码
mysql grant all privileges on *.* to root% identified by 123456;
mysql flush privileges; #刷新
mysql exit#MySQL服务自启动
chkconfig mysql on这里选择的是离线安装如果使用在线安装可以使用如下命令 wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5.noarch.rpm yum -y install mysql mysql-server mysql-devel #安装Mysqlsystemctl start mysqld.service #启动mysql服务
systemctl enable mysqld.service #开机启动mysqladmin -uroot password 123456 # 设置密码2.3 MySQL 中 user 表中主机配置
mysql -uroot -p123456mysql show databases; #显示数据库mysql use mysql; #使用mysql数据库mysql show tables; #显示数据库mysql中的所有表mysql desc user; #显示user表的结构mysql select User,Host,Password from user; #查看User表mysql update user set host% where hostlocalhost; #修改 user 表把 Host 表内容修改为%# 删除 root 用户的其他 host
mysql
delete from user where Hostmaster;
delete from user where Host127.0.0.1;
delete from user where Host::1;mysql flush privileges; #刷新mysql quit;2.4 配置Mysql驱动
请使用相应工具比如winscp将文件mysql-connector-java-5.1.40.jar上传到目录/root (官方下载地址http://central.maven.org/maven2/mysql/mysql-connector-java/ )
mkdir /usr/share/java
cp /root/mysql-connector-java-5.1.40.jar /usr/share/java/mysql-connector-java.jar修改ambari.properties添加mysql驱动路径
vi /etc/ambari-server/conf/ambari.properties添加如下内容
server.jdbc.driver.path/usr/share/java/mysql-connector-java.jar2.5 在MySQL中创建数据库
mysql -uroot -p123456mysql CREATE DATABASE ambari;
mysql use ambari;
mysql CREATE USER ambari% IDENTIFIED BY ambarizk123;
mysql GRANT ALL PRIVILEGES ON *.* TO ambari%;
mysql CREATE USER ambarilocalhost IDENTIFIED BY ambarizk123;
mysql GRANT ALL PRIVILEGES ON *.* TO ambarilocalhost;
mysql CREATE USER ambarimaster IDENTIFIED BY ambarizk123;
mysql GRANT ALL PRIVILEGES ON *.* TO ambarimaster;
mysql FLUSH PRIVILEGES;
mysql source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
mysql show tables;
mysql use mysql;
mysql select Host,User,Password from user where userambari;
mysql CREATE DATABASE hive;
mysql use hive;
mysql CREATE USER hive% IDENTIFIED BY hive;
mysql GRANT ALL PRIVILEGES ON *.* TO hive%;
mysql CREATE USER hivelocalhost IDENTIFIED BY hive;
mysql GRANT ALL PRIVILEGES ON *.* TO hivelocalhost;
mysql CREATE USER hivemaster IDENTIFIED BY hive;
mysql GRANT ALL PRIVILEGES ON *.* TO hivemaster;
mysql FLUSH PRIVILEGES;
mysql CREATE DATABASE oozie;
mysql use oozie;
mysql CREATE USER oozie% IDENTIFIED BY oozie;
mysql GRANT ALL PRIVILEGES ON *.* TO oozie%;
mysql CREATE USER oozielocalhost IDENTIFIED BY oozie;
mysql GRANT ALL PRIVILEGES ON *.* TO oozielocalhost;
mysql CREATE USER ooziemaster IDENTIFIED BY oozie;
mysql GRANT ALL PRIVILEGES ON *.* TO ooziemaster ;
mysql FLUSH PRIVILEGES; 2.6 配置Ambari
执行
ambari-server setup下面是配置执行流程按照提示操作
1提示是否自定义设置。输入 y
Customize user account for ambari-server daemon [y/n] (n)? y2 ambari-server 账号, 如果直接回车就是默认选择 root 用户
Enter user account for ambari-server daemon (root):3设置JDK。输入3
Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[1] Oracle JDK 1.8 Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDKEnter choice (1): 3如果上面选择 3 自定义 JDK,则需要设置 JAVA_HOME。输入/opt/jdk
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use
Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all
hosts.
Path to JAVA_HOME: /opt/jdk
Validating JDK on Ambari Server...done.
Completing setup...4数据库配置。选择y
Configuring database...
Enter advanced database configuration [y/n] (n)? y5选择数据库类型。输入3
Configuring database...Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL AnywhereEnter choice (3): 36设置数据库的具体配置信息根据实际情况输入如果和括号内相同则可以直接回车。 如果想重命名就输入。
Hostname (localhost): master
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):ambarizk123 (这里输入时不会显示)
Re-enter password:ambarizk123 (这里输入时不会显示)7将 Ambari 数据库脚本导入到数据库
WARNING: Before starting Ambari Server, you must run the following DDL against the
database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-
CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)?如果使用自己定义的数据库必须在启动 Ambari 服务之前导入 Ambari 的 sql 脚本。
3. 启动 Ambari
ambari-server start 成功启动后在浏览器输入Ambari地址测试http://master:8080 (需要配置hosts, 没配置时可以直接访问 192.168.91.128:8080)
4. 错误处理
如果出现错误请注意查看日志根据具体的错误内容进行处理默认ambari-server的日志在/var/log/ambari-server/ambari-server.log里面。如果在处理日志的过程中或者后面安装的过程中出现一些莫名的错误可以重置的安装。如果上面进行的默认数据库的配置可以使用下面的代码重置ambari-server
ambari-server stop
ambari-server reset
ambari-server setup如果选择的是第二种方式就需要先执行上面的语句然后手动将mysql里面创建的数据库进行删除。然后再重新执行第2步的操作
mysql -uroot -p123456mysql show databases;mysql drop database ambari;
五、搭建集群
1. 登录
登录界面默认管理员账户登录http://master:8080/ (需要配置hosts, 没配置时可以访问 192.168.91.128:8080) 账户admin 密码admin 注意如果在windows上要访问master,需要配置 C:\Windows\System32\drivers\etc\hosts 2. 安装向导 2.1 配置集群的名字为hadoop 2.2 选择版本和本地库
在redhat7后面填写
http://192.168.91.128/HDP/centos7/2.6.3.0-235
http://192.168.91.128/HDP-UTILS2.3 安装配置
填写主机地址以及主节点的id.rsa文件
需要首先把master节点为的私密/root/.ssh/id.rsa拷贝到windows 2.4 安装ambari的agent同时检查系统问题 如果失败根据错误日志。
出现如下错误
ERROR 2020-12-26 05:23:37,117 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:618)
ERROR 2020-12-26 05:23:37,117 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. 修改 /etc/ambari-agent/conf/ambari-agent.ini 在[security]添加如下信息
[security]
force_https_protocolPROTOCOL_TLSv1_22.5 选择要安装的服务 2.6 分配主节点
虚拟机的配置有限实验时采用默认的方式即可。 2.7 分配从节点 2.8 自定义服务
如果前面安装的服务有Hive或者Oozie 2.9 检查
Admin Name : adminCluster Name : hadoopTotal Hosts : 3 (3 new)Repositories:redhat7 (HDP-2.6):
http://192.168.91.128/HDP/centos7/2.6.3.0-235
redhat7 (HDP-UTILS-1.1.0.21):
http://192.168.91.128/HDP-UTILS
Services:HDFS
DataNode : 3 hosts
NameNode : master
NFSGateway : 0 host
SNameNode : slave1
YARN MapReduce2
App Timeline Server : slave1
NodeManager : 3 hosts
ResourceManager : slave1
Tez
Clients : 3 hosts
HBase
Master : master
RegionServer : 3 hosts
Phoenix Query Server : 0 host
Pig
Clients : 3 hosts
Sqoop
Clients : 3 hosts
ZooKeeper
Server : 3 hosts
Flume
Flume : 3 hosts
Ambari Metrics
Metrics Collector : slave2
Grafana : master
Kafka
Broker : master
SmartSense
Activity Analyzer : master
Activity Explorer : master
HST Server : master
Slider
Clients : 3 hosts2.10 安装
注释掉 /usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py文件的533行
# package_version None遇到出错需要查看日志文件进行相应解决 如果没修改 /usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py可能会有如下错误 Traceback (most recent call last):
File /var/lib/ambari-agent/cache/common-services/HDFS/2.1.0.2.0/package/scripts/hdfs_client.py, line 73, in moduleHdfsClient().execute()
File /usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py, line 367, in executemethod(env)
File /var/lib/ambari-agent/cache/common-services/HDFS/2.1.0.2.0/package/scripts/hdfs_client.py, line 37, in installself.install_packages(env)
File /usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py, line 803, in install_packagesname self.format_package_name(package[name])
File /usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py, line 538, in format_package_nameraise Fail(Cannot match package for regexp name {0}. Available packages: {1}.format(name, self.available_packages_in_repos))
resource_management.core.exceptions.Fail: Cannot match package for regexp name hadoop_${stack_version}. Available packages: [accumulo, accumulo-conf-standalone, accumulo-source, accumulo_2_6_3_0_235, accumulo_2_6_3_0_235-conf-standalone,
1234567891011122.11 查看管理集群 2.12 添加服务
我们将要添加hive服务先运行如下命令
ambari-server setup --jdbc-dbmysql --jdbc-driver/usr/share/java/mysql-connector-java.jar1选择要添加的服务 2分配主机 3分配从服务器和客户端 4设置Hive服务 5略…
6安装 六、常用命令练习
1. HDFS命令练习
掌握常用hdfs操作命令hdfs dfs执行并查看结果可以在终端输入hdfs dfs -help查询命令用法。
先通过vi在Linux本地创建三个文本文件txt1.txt、txt2.txt、txt3.txt。文件文件里面随意输入些内容。
(1) 列出子目录或子文件
# 查看HDFS根目录下的文件或目录
hdfs dfs -ls
#递归列出子目录文件
hdfs dfs -ls -R /hadoop fs [generic options] -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [ …] (2) 创建目录
hdfs dfs -mkdir /001hdfs dfs -mkdir /001/mydemo2# -p表示父目录都会创建
hdfs dfs -mkdir -p /001/mydemo/x/y/zhdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5#检查创建结果
hdfs dfs -ls /001/mydemohdfs dfs -ls -R /001/mydemo hadoop fs [generic options] -mkdir [-p] … (3) 上传文件
# 将本地目录txt1.txt文件上传到HDFS上并重命名为hdfs1.txthdfs dfs -put txt1.txt /001/mydemo/hdfs1.txthdfs dfs -copyFromLocal txt2.txt /001/mydemo/hdfs2.txt(4) 本地文件移动到HDFS hdfs dfs -moveFromLocal txt3.txt /001/mydemo/hdfs3.txt(5) 下载文件
#将HDFS中的file2文件复制到本地系统并命名为txt3.txthdfs dfs -get /001/mydemo/hdfs1.txt txt11.txthdfs dfs -copyToLocal /001/mydemo/hdfs3.txt txt3.txt(6) 查看文件
#查看HDFS下/001/mydemo/hdfs2.txt文件中的内容hdfs dfs -cat /001/mydemo/hdfs2.txthdfs dfs -text /001/mydemo/hdfs2.txt(7) 删除文件
# 删除HDFS下名为file1的文件参数r为递归删除hdfs dfs -rm -r /001/mydemo/hdfs3.txt(8) 复制和移动
#复制
hdfs dfs -cp /001/mydemo/hdfs1.txt /001/mydemo/hdfs3.txt#移动
hdfs dfs -mv /001/mydemo/hdfs3.txt /001/mydemo/hdfs4.txt(9) 创建一个空文件
hdfs dfs -touchz /001/mydemo/hdfs5.txt(10) 追加文件
hdfs dfs -appendToFile txt1.txt /001/mydemo/hdfs5.txt(11) 文件合并再下载
hdfs dfs -getmerge /001/mydemo merge.txt(12) count统计
# 显示目录个数 文件个数 文件总计大小 输入路径hdfs dfs -count /001/mydemo(13) 查看文件大小
hdfs dfs -du /001/mydemo(14) 设置扩展属性获取扩展属性
hdfs dfs -setfattr -n user.from -v http://www.baidu.com /001/mydemo/hdfs1.txthdfs dfs -getfattr -d /001/mydemo/hdfs1.txt2. HBase练习
启动 HBase Shell运行如下命令
hbase shell(1) 一般操作
#查询服务器状态
status#查询 Hbase 版本
version#查看所有表
list(2) 增删改
# 创建一个表
create member001,member_id,address,info# 获得表的描述
describe member001# 添加一个列族
alter member001, id# 添加数据, 在 HBase shell 中我们可以通过 put 命令来插入数据。列簇下的列不需要提前创建在需要时通过:来指定即可。添加数据如下
put member001, debugo,id,11
put member001, debugo,info:age,27
put member001, debugo,info:birthday,1991-04-04
put member001, debugo,info:industry, it
put member001, debugo,address:city,Shanghai
put member001, debugo,address:country,China
put member001, Sariel, id, 21
put member001, Sariel,info:age, 26
put member001, Sariel,info:birthday, 1992-05-09
put member001, Sariel,info:industry, it
put member001, Sariel,address:city, Beijing
put member001, Sariel,address:country, China
put member001, Elvis, id, 22
put member001, Elvis,info:age, 26
put member001, Elvis,info:birthday, 1992-09-14
put member001, Elvis,info:industry, it
put member001, Elvis,address:city, Beijing
put member001, Elvis,address:country, china# 查看表数据
scan member001# 删除一个列族
alter member001, {NAME member_id, METHOD delete’}# 删除列
# a通过 delete 命令我们可以删除 id 为某个值的‘info:age’字段接下来的 get 就无值了
delete member001,debugo,info:age
get member001,debugo,info:age# b删除整行的值用 deleteall 命令
deleteall member001,debugo
get member001,debugo# 通过 enable 和 disable 来启用/禁用这个表,相应的可以通过 is_enabled 和
is_disabled 来检查表是否被禁用
is_enabled member001
is_disabled member001# 使用 exists 来检查表是否存在
exists member001# 删除表需要先将表 disable。
disable member001
drop member001(3) 查询
# 查询表中有多少行用 count 命令
count member001# get
# a)获取一个 id 的所有数据
get member001, Sariel# b)获得一个 id一个列簇一个列中的所有数据
get member001, Sariel, info# 查询整表数据
scan member001# 扫描整个列簇
scan member001, {COLUMNinfo}# 指定扫描其中的某个列
scan member001, {COLUMNS info:birthday}# 除了列COLUMNS修饰词外HBase 还支持 Limit限制查询结果行数STARTROWROWKEY 起始行。会先根据这个 key 定位到 region再向后扫描、STOPROW(结束行)、TIMERANGE限定时间戳范围、VERSIONS版本数、和 FILTER按条件过滤行等。比如我们从 Sariel 这个 rowkey 开始找下一个行的最新版本
scan member001, { STARTROW Sariel, LIMIT1, VERSIONS1}# Filter 是一个非常强大的修饰词可以设定一系列条件来进行过滤。比如我们要限制某个列的值等于 26。
scan member001, FILTERValueFilter(,binary:26)# 值包含 6 这个值
scan member001, FILTERValueFilter(,substring:6)# 列名中的前缀为 birth 的
scan member001, FILTERColumnPrefixFilter(birth) #FILTER 中支持多个过滤条件通过括号、AND 和 OR 的条件组合
scan member001, FILTERColumnPrefixFilter(birth) AND ValueFilter ValueFilter(,substring:1988)# PrefixFilter是对 Rowkey 的前缀进行判断,这是一个非常常用的功能。
scan member001, FILTERPrefixFilter(E)附、网盘资源
链接https://pan.baidu.com/s/18SGZkYnyq9AAjp5SLYqpZA?pwdjiau 提取码jiau 文章转载自： http://www.morning.wlstn.cn.gov.cn.wlstn.cn http://www.morning.gsrh.cn.gov.cn.gsrh.cn http://www.morning.drhnj.cn.gov.cn.drhnj.cn http://www.morning.wnjwb.cn.gov.cn.wnjwb.cn http://www.morning.yesidu.com.gov.cn.yesidu.com http://www.morning.wjjxr.cn.gov.cn.wjjxr.cn http://www.morning.bhxzx.cn.gov.cn.bhxzx.cn http://www.morning.nqpxs.cn.gov.cn.nqpxs.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.mkrqh.cn.gov.cn.mkrqh.cn http://www.morning.qyllw.cn.gov.cn.qyllw.cn http://www.morning.tdcql.cn.gov.cn.tdcql.cn http://www.morning.nhzzn.cn.gov.cn.nhzzn.cn http://www.morning.qdzqf.cn.gov.cn.qdzqf.cn http://www.morning.ctfh.cn.gov.cn.ctfh.cn http://www.morning.rnnwd.cn.gov.cn.rnnwd.cn http://www.morning.dtlqc.cn.gov.cn.dtlqc.cn http://www.morning.phwmj.cn.gov.cn.phwmj.cn http://www.morning.hjbrd.cn.gov.cn.hjbrd.cn http://www.morning.mlckd.cn.gov.cn.mlckd.cn http://www.morning.qlhwy.cn.gov.cn.qlhwy.cn http://www.morning.mtgnd.cn.gov.cn.mtgnd.cn http://www.morning.gtxrw.cn.gov.cn.gtxrw.cn http://www.morning.sxmbk.cn.gov.cn.sxmbk.cn http://www.morning.hjjhjhj.com.gov.cn.hjjhjhj.com http://www.morning.szzxqc.com.gov.cn.szzxqc.com http://www.morning.zcxjg.cn.gov.cn.zcxjg.cn http://www.morning.ztmnr.cn.gov.cn.ztmnr.cn http://www.morning.frtt.cn.gov.cn.frtt.cn http://www.morning.ckhry.cn.gov.cn.ckhry.cn http://www.morning.cmzcp.cn.gov.cn.cmzcp.cn http://www.morning.rgpsq.cn.gov.cn.rgpsq.cn http://www.morning.qblcm.cn.gov.cn.qblcm.cn http://www.morning.synkr.cn.gov.cn.synkr.cn http://www.morning.ityi666.cn.gov.cn.ityi666.cn http://www.morning.rzjfn.cn.gov.cn.rzjfn.cn http://www.morning.hilmwmu.cn.gov.cn.hilmwmu.cn http://www.morning.rfrx.cn.gov.cn.rfrx.cn http://www.morning.lxcwh.cn.gov.cn.lxcwh.cn http://www.morning.pgggs.cn.gov.cn.pgggs.cn http://www.morning.spftz.cn.gov.cn.spftz.cn http://www.morning.xhhqd.cn.gov.cn.xhhqd.cn http://www.morning.lcplz.cn.gov.cn.lcplz.cn http://www.morning.fdhwh.cn.gov.cn.fdhwh.cn http://www.morning.smnxr.cn.gov.cn.smnxr.cn http://www.morning.zxhpx.cn.gov.cn.zxhpx.cn http://www.morning.zrks.cn.gov.cn.zrks.cn http://www.morning.cfhwn.cn.gov.cn.cfhwn.cn http://www.morning.dcdhj.cn.gov.cn.dcdhj.cn http://www.morning.yqqgp.cn.gov.cn.yqqgp.cn http://www.morning.trlhc.cn.gov.cn.trlhc.cn http://www.morning.ljbpk.cn.gov.cn.ljbpk.cn http://www.morning.ydrml.cn.gov.cn.ydrml.cn http://www.morning.gqbtw.cn.gov.cn.gqbtw.cn http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.zrqs.cn.gov.cn.zrqs.cn http://www.morning.crqpl.cn.gov.cn.crqpl.cn http://www.morning.sbwr.cn.gov.cn.sbwr.cn http://www.morning.nlqgb.cn.gov.cn.nlqgb.cn http://www.morning.wplbs.cn.gov.cn.wplbs.cn http://www.morning.ltcnd.cn.gov.cn.ltcnd.cn http://www.morning.dwhnb.cn.gov.cn.dwhnb.cn http://www.morning.ydryk.cn.gov.cn.ydryk.cn http://www.morning.kpqjr.cn.gov.cn.kpqjr.cn http://www.morning.pqppj.cn.gov.cn.pqppj.cn http://www.morning.pdxqk.cn.gov.cn.pdxqk.cn http://www.morning.dwrjj.cn.gov.cn.dwrjj.cn http://www.morning.sbrrf.cn.gov.cn.sbrrf.cn http://www.morning.bysey.com.gov.cn.bysey.com http://www.morning.zzgkk.cn.gov.cn.zzgkk.cn http://www.morning.dtgjt.cn.gov.cn.dtgjt.cn http://www.morning.flqkp.cn.gov.cn.flqkp.cn http://www.morning.nrfrd.cn.gov.cn.nrfrd.cn http://www.morning.mnbcj.cn.gov.cn.mnbcj.cn http://www.morning.xnpj.cn.gov.cn.xnpj.cn http://www.morning.ryrpq.cn.gov.cn.ryrpq.cn http://www.morning.nlbhj.cn.gov.cn.nlbhj.cn http://www.morning.yrmpz.cn.gov.cn.yrmpz.cn http://www.morning.mpsnb.cn.gov.cn.mpsnb.cn http://www.morning.ggjlm.cn.gov.cn.ggjlm.cn
