福建平潭建设局网站,搭建网站知识,昆明网站建设价格,专门做教育咨询有限公司网站文章目录Hive 运行环境搭建一、Hive 安装部署1、安装hive2、MySQL 安装3、Hive 元数据配置到 Mysql1) 拷贝驱动2) 配置Metastore 到 MySQL3) 再次启动Hive4) 使用元数据服务的方式访问Hive二、使用Dbaver连接HiveHive 运行环境搭建
HIve 下载地址#xff1a;http://archive.a…
文章目录Hive 运行环境搭建一、Hive 安装部署1、安装hive2、MySQL 安装3、Hive 元数据配置到 Mysql1) 拷贝驱动2) 配置Metastore 到 MySQL3) 再次启动Hive4) 使用元数据服务的方式访问Hive二、使用Dbaver连接HiveHive 运行环境搭建
HIve 下载地址http://archive.apache.org/dist/hive/
一、Hive 安装部署
1、安装hive
下载这个hive3.1.3的 将文件上传到 linux /opt/software 目录下 输入命令tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/ 解压到 /opt 目录下 这个名字太长了我们修改名字为 hive 输入命令mv apache-hive-3.1.3-bin/ hive 输入命令vim /etc/profile 配置hive环境变量
export HIVE_HOME/opt/hive
export PATH$PATH:$HIVE_HOME/bin输入命令source /etc/profile 保存环境配置
2、MySQL 安装
1、检查当前系统是否安装过MySQL 输入命令rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 将mysql5.7压缩包上传到 /optsoftware 目录下 输入命令 tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/ 解压到/opt 目录下 然后下面会出现这么一堆 在安装目录下执行rpm安装1 输入命令 sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm 注意:按照顺序依次执行 如果 Linux 是最小化安装的在安装 mysql-community-server-5.7.28-1.el7.x86_64.rpm 时 可能会出现如下错误 通过 yum 安装缺少的依赖,然后重新安装 mysql-community-server-5.7.28-1.el7.x86_64 即可 输入命令yum install -y libaio 然后后面执行安装命令的时候加上这个在末尾 --force --nodeps 就可以了最好一条一条的执行 删除/etc/my.cnf 文件中 datadir 指向的目录下的所有内容,如果有内容的情况下: 查看 datadir 的值 输入命令 vim /etc/my.cnf 可以看到我们没有 要是有的话先切换到那个目录cd /var/lib/mysql 输入命令sudo rm -rf ./* 进行删除掉 初始化数据库sudo mysqld --initialize --usermysql 查看临时生成的 root 用户的密码 输入命令sudo cat /var/log/mysqld.log 临时密码是rootlocalhos 后面的那个 启动Mysql服务sudo systemctl start mysqld 登录Mysql数据库mysql -uroot -prRiEg:0iu)p p后面这个是临时生成的密码 输入命令set password password(pssw0rd); 修改mysql的密码为pssw0rd 修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接 输入命令update mysql.user set host% where userroot;
3、Hive 元数据配置到 Mysql
1) 拷贝驱动
将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下 输入命令 cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
2) 配置Metastore 到 MySQL
1、在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件 输入命令vim $HIVE_HOME/conf/hive-site.xml 添加如下内容
?xml version1.0?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration
!-- jdbc 连接的 URL --
property
namejavax.jdo.option.ConnectionURL/name
valuejdbc:mysql://hadoop102:3306/metastore?useSSLfalse/value
/property!-- jdbc 连接的 Driver--
property
namejavax.jdo.option.ConnectionDriverName/name
valuecom.mysql.jdbc.Driver/value
/property!-- jdbc 连接的 username--
property
namejavax.jdo.option.ConnectionUserName/name
valueroot/value
/property!-- jdbc 连接的 password --
property
namejavax.jdo.option.ConnectionPassword/name
valuepssw0rd/value
/property!-- Hive 元数据存储版本的验证 --
property
namehive.metastore.schema.verification/name
valuefalse/value
/property!--元数据存储授权--
property
namehive.metastore.event.db.notification.api.auth/name
valuefalse/value
/property!-- Hive 默认在 HDFS 的工作目录 --
property
namehive.metastore.warehouse.dir/name
value/user/hive/warehouse/value
/property
/configuration2、登陆 MySQL 输入命令mysql -uroot -ppssw0rd 3、新建hive元数据库 输入命令create database metastore 4、初始化Hive元数据库 输入命令schematool -initSchema -dbType mysql - verbose
3) 再次启动Hive
1、启动hive 输入命令bin/hive 2、使用hive 输入命令 create database bigdata; 创建一个bigdata 数据库 输入命令use bigdata; 选择bigdata数据库 输入命令create table tests(id int); 创建一个tests表 输入命令 insert into tests values(1); 插入数据
4) 使用元数据服务的方式访问Hive
1、在 hive-site.xml 文件中添加如下配置信息
?xml version1.0?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration
!-- jdbc 连接的 URL --
property
namejavax.jdo.option.ConnectionURL/name
valuejdbc:mysql://hadoop102:3306/metastore?useSSLfalse/value
/property!-- jdbc 连接的 Driver--
property
namejavax.jdo.option.ConnectionDriverName/name
valuecom.mysql.jdbc.Driver/value
/property!-- jdbc 连接的 username--
property
namejavax.jdo.option.ConnectionUserName/name
valueroot/value
/property!-- jdbc 连接的 password --
property
namejavax.jdo.option.ConnectionPassword/name
valuepssw0rd/value
/property!-- Hive 元数据存储版本的验证 --
property
namehive.metastore.schema.verification/name
valuefalse/value
/property!--元数据存储授权--
property
namehive.metastore.event.db.notification.api.auth/name
valuefalse/value
/property!-- Hive 默认在 HDFS 的工作目录 --
propertynamehive.metastore.warehouse.dir/namevalue/user/hive/warehouse/value
/property
!-- 指定存储元数据要连接的地址 --
property
namehive.metastore.uris/name
valuethrift://hadoop102:9083/value
/property
/configuration2、启动 metastore 输入命令hive --service metastore
二、使用Dbaver连接Hive
将hive的jdbc驱动从linux /opt/hive/jdbc 目录下下载下来 打开Dbavear点击编辑驱动 点击找到类然后选择这个第一个这个类 然后让我们回到linux,启动节点查看进程 我们要启动 hiveserver2 输入命令nohup /opt/hive/bin/hive --service hiveserver2 输入命令 hive -service metastore
