wordpress怎么上传自己的网站吗,旅游网站建设市场分析,深圳市建设安监站网站,贵阳网站建设kuhugz目录
一、安装CentOS
1.1、修改映射关系:
1.2、免密登录:
1.3、关闭防⽕墙:
1.4、修改linux的安全机制:
1.5、修改yum源:
二、安装JDK
2.1、创建文件夹:
2.2、解压安装:
2.3、配置环境变量:
2.4、刷新环境变量:
2.5、验证:
三、安装Hadoop[伪分布式]
3.1、安装hd…目录
一、安装CentOS
1.1、修改映射关系:
1.2、免密登录:
1.3、关闭防⽕墙:
1.4、修改linux的安全机制:
1.5、修改yum源:
二、安装JDK
2.1、创建文件夹:
2.2、解压安装:
2.3、配置环境变量:
2.4、刷新环境变量:
2.5、验证:
三、安装Hadoop[伪分布式]
3.1、安装hdfs:
3.2、修改配置:
3.3、安装Yarn:
四、安装MySQL8.0
4.1、删除mysql相关的内容
4.2、上传解压
4.3、安装服务
4.4、服务启动
4.5、修改密码
4.6、远程授权:
4.7、自动化安装脚本:
五、安装Hive
5.1、修改为本地模式
5.2、配置环境变量
5.3、修改配置文件
六、安装Flume、DataX和SQOOP
6.1、解压、重命名
6.2、配置环境变量
6.3、修改配置文件
6.4、拷贝mysql8.0的驱动包
七、安装DS[单机版]
7.1、上传解压
7.2、拷贝mysql8.0的驱动包
7.3、在mysql中创建数据库
八、总结 搭建数仓项目环境是数据工程师工作的重要组成部分它确保数据从源头到数据仓库的采集、清洗、存储、分析等环节高效稳定。以下是如何搭建一个典型数仓项目环境的详细指南
安装所需的安装包飞书软件安装包
一、安装CentOS
1.1、修改映射关系:
vi /etc/hosts
1.2、免密登录:
ssh-keygen -t rsa
ssh-copy-id shucang
1.3、关闭防⽕墙:
systemctl stop firewalld
systemctl disable firewalld
1.4、修改linux的安全机制:
vi /etc/selinux/config
# 修改文件⾥⾯ SELINUXdisabled
1.5、修改yum源:
#修改阿里云的镜像文件
1、cd /etc/yum.repos.d/
2、备份⼀下mv CentOS-Base.repo CentOS-Base.repo.bak
3、下载阿⾥云镜像到本地
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
4、清除yum的缓存 yum clean all yum makecache
5、安装 yum install -y ntpdate yum install -y vim yum install -y net-tools
二、安装JDK
2.1、创建文件夹:
mkdir -p /opt/modules
mkdir -p /opt/installs
2.2、解压安装:
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /opt/installs/ mv jdk1.8.0_171/ jdk
2.3、配置环境变量:
export JAVA_HOME/opt/installs/jdk
export PATH$PATH:$JAVA_HOME/bin
2.4、刷新环境变量:
source /etc/profile
2.5、验证:
java -version
三、安装Hadoop[伪分布式]
3.1、安装hdfs:
tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/
mv hadoop-3.3.1/ hadoop
#环境变量
export HADOOP_HOME/opt/installs/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#刷新环境变量 source /etc/profile
#验证 hadoop version
3.2、修改配置:
1、修改core-site.xml
configuration
!-- 设置namenode节点 --
!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -- property
namefs.defaultFS/name
valuehdfs://shucang:9820/value
/property
!-- hdfs的基础路径被其他属性所依赖的⼀个基础路径 --
property
namehadoop.tmp.dir/name
value/opt/installs/hadoop/tmp/value
/property
/configuration
2、修改hdfs-site.xml
configuration
property
!--备份数量--
namedfs.replication/name
value1/value
/property
!--secondarynamenode守护进程的http地址主机名和端⼝号。参考守护进程布局 --
property
namedfs.namenode.secondary.http-address/name
valueshucang:9868/value
/property
!-- namenode守护进程的http地址主机名和端⼝号。参考守护进程布局 --
property
namedfs.namenode.http-address/name
valueshucang:9870/value
/property
/configuration
3、修改hadoop-env.sh
export HDFS_NAMENODE_USERroot
export HDFS_DATANODE_USERroot
export HDFS_SECONDARYNAMENODE_USERroot
export YARN_RESOURCEMANAGER_USERroot
export YARN_NODEMANAGER_USERroot
export JAVA_HOME/opt/installs/jdk
4、修改workers 文件
shucang
5、格式化namenode
hdfs namenode -format
3.3、安装Yarn:
1、修改mapred-site.xml
configuration
property
namemapreduce.framework.name/name
valueyarn/value
/property
/configuration
#指定mapreduce运行平台为yarn
2、检查hadoop-env.sh
export YARN_RESOURCEMANAGER_USERroot
export YARN_NODEMANAGER_USERroot
3、配置yarn-site.xml
为了防止报AppMaster的错误需要如下配置:
property
nameyarn.application.classpath/name
value/opt/installs/hadoop/etc/hadoop:/opt/installs/hadoop/share/hadoop/common/lib/*:/opt/installs/hadoop/share/hadoop/common/*:/opt/installs/hadoop/share/hadoop/hdfs:/opt/installs/hadoop/share/hadoop/hdfs/lib/*:/opt/installs/hadoop/share/hadoop/hdfs/*:/opt/installs/hadoop/share/hadoop/mapreduce/*:/opt/installs/hadoop/share/hadoop/yarn:/opt/installs/hadoop/share/hadoop/yarn/lib/*:/opt/installs/hadoop/share/hadoop/yarn/*/value
/property
获取classpath的值:
hadoop classpath
4、启动和停止yarn平台:
#启动
start-yarn.sh
#停止
stop-yarn.sh
5、web访问一下:
http://shucang:8088
四、安装MySQL8.0
4.1、删除mysql相关的内容
rpm -qa | grep mariadb
rpm -e mariadb-libs-5.5.56-2.el7.x86_64 --nodeps
4.2、上传解压
mkdir /opt/modules/mysql_rpm
tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar -C /opt/modules/mysql_rpm
4.3、安装服务
rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpm
yum install -y net-tools
yum install -y perl
yum install libaio
rpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm
4.4、服务启动
systemctl start mysqld #这个是启动
mysql systemctl status mysqld #查看mysql的状态
systemctl stop mysqld #关闭服务
4.5、修改密码
#查看默认密码
grep password /var/log/mysqld.log
进入mysql:
mysql -uroot -p 敲回车 粘贴密码即可
修改密码:
alter user rootlocalhost identified by Y1u2n3h4e5!;
修改密码校验规则:
show variables like %validate_password%; # 查看密码策略
set global validate_password.policyLOW; # 修改密码策略等级为LOW
set global validate_password.length4; # 密码的最小长度 set global validate_password.mixed_case_count0; # 设置密码中至少要包含0个大写字母和小写字母
set global validate_password.number_count0; # 设置密码中至少要包含0个数字
set global validate_password.special_char_count0; # 设置密码中至少要包含0个特殊字符
再次修改密码:
alter user rootlocalhost identified by 123456;
4.6、远程授权:
create user root% identified by 123456;
grant all privileges on *.* to root% with grant option;
flush privileges;
4.7、自动化安装脚本:
#!/bin/bash
####################################
# 1.建立临时文件夹
# 2.tar文件 与此脚本放同一目录
# 3.删除centos7自带的MySQL
# 4.按顺序安装MySQL相关的依赖包
# 5.修改MySQL的密码 -- 默认使用密码为123456
# 6.配置MySQL可以被远程访问实际开发中也是有些机器需要有访问这个机器MySQL的权限
# 7.开放3306端口提供远程访问 # $? 代表上一个命令执行后的退出状态: 0-成功,1-失败 # example sh mysql8.0.26.sh
####################################
# echo -e \e[1;32m****\e[0m # 安装vim yum install -y vim
#第一步、创建一个临时的文件夹
mkdir mysql_rpm
#第二步、把新上传的MySQL的安装包移动到mysql_rpm下
mv mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar mysql_rpm
#进入到mysql_rpm目录下开始执行下面的操作
cd mysql_rpm
#解压MySQL的安装包在当前目录下
tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar
#查看集群上现有的MySQL需要删除掉
mysql_oldrpm -qa | grep mariadb echo -e \e[1;32m当前centos中MySQL版本是 ${mysql_old}\e[0m
#删除自带的MySQL
rpm -e --nodeps ${mysql_old}
#验证旧版本的MySQL是否被删除掉
mysql_validaterpm -qa | grep mariadb echo -e \e[1;32m验证旧版的MySQL是否被删除干净 ${mysql_validate}\e[0m
#开始安装MySQL注意这些包安装是有顺序的
rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm
#判断安装的过程是否成功
if [ $? 0 ];then
echo -e \e[1;32m安装------mysql-community-common-8.0.26-1.el7.x86_64.rpm -- 第1个包------- 成功\e[0m
else
echo -e \e[1;31m安装------mysql-community-common-8.0.26-1.el7.x86_64.rpm -- 第1个包------- 失败\e[0m
fi
#第二个包
rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm
if [ $? 0 ];then
echo -e \e[1;32m安装------mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm -- 第2个包------- 成功\e[0m
else
echo -e \e[1;31m安装------mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm -- 第2个包------- 失败\e[0m
fi
#第三个包安装rpm -ivh numactl* 这是安装以前缀numactl开始的所有安装包
rpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm
if [ $? 0 ];then
echo -e \e[1;32m安装------mysql-community-libs-8.0.26-1.el7.x86_64.rpm -- 第3个包------- 成功\e[0m
else
echo -e \e[1;31m安装------mysql-community-libs-8.0.26-1.el7.x86_64.rpm -- 第3个包------- 失败\e[0m
fi
#第四个包安装mysql-community-client-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpm
if [ $? 0 ];then
echo -e \e[1;32m安装------mysql-community-client-8.0.26-1.el7.x86_64.rpm 第4个包------- 成功\e[0m
else
echo -e \e[1;31m安装------mysql-community-client-8.0.26-1.el7.x86_64.rpm 第4个包------- 失败\e[0m
fi
yum install -y net-tools
yum install -y perl
yum install libaio
#第五个包安装 mysql-community-server-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm
if [ $? 0 ];then
echo -e \e[1;32m安装------mysql-community-server-8.0.26-1.el7.x86_64.rpm -- 第5个包------- 成功\e[0m
else
echo -e \e[1;31m安装------mysql-community-server-8.0.26-1.el7.x86_64.rpm -- 第5个包------- 失败\e[0m
fi
#启动MySQL
# service mysqld start
systemctl start mysqld
#验证是否启动成功可以查看MySQL的启动状态
service mysqld status start.log
#查看MySQL的初始密码,把携带密码信息加载到下面这个文件中
grep temporary password /var/log/mysqld.log result.txt
#读取文件中的密码用于登录MySQL
password_mysqlcat result.txt | grep localhost | awk -F : {print $2}
echo -e \e[1;32m查看MySQL的原始密码是啥 \e[0m -- \e[1;31m ${password_mysql}\e[0m
#连接MySQL的几个参数
hostnamelocalhost
usernameroot
port3306
#进入MySQL的交互模式修改相应的参数设置简单的密码为123456为了以后自己用方便实际上生产的密码都比较复杂一些
#mysql -h${hostname} -u${username} -P${port} -p${password_mysql} EOF
mysql -u${username} -p${password_mysql} --connect-expired-password EOF
set global validate_password.policyLOW;
set global validate_password.length4;
set global validate_password.mixed_case_count0;
set global validate_password.number_count0;
set global validate_password.special_char_count0;
alter user rootlocalhost identified by 123456;
create user root% identified by 123456;
grant all privileges on *.* to root% with grant option;
ALTER USER root% IDENTIFIED WITH mysql_native_password BY 123456;
flush privileges;
quit EOF
# 防火墙开启状态下开放3306端口
# openPort(){ # echo -e \e[1;32m开放3306端口
# firewall-cmd --zonepublic --add-port3306/tcp --permanent
# echo -e \e[1;32m重启firewall...
# firewall-cmd --reload # } # openPort
五、安装Hive
5.1、修改为本地模式
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/installs/
mv apache-hive-3.1.2-bin/ hive
5.2、配置环境变量
export HIVE_HOME/opt/installs/hive
export PATH$PATH:$HIVE_HOME/bin
#刷新环境变量
source /etc/profile
5.3、修改配置文件
mv hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
hive-env.sh
export HIVE_CONF_DIR/opt/installs/hive/conf
export JAVA_HOME/opt/installs/jdk
export HADOOP_HOME/opt/installs/hadoop
export HIVE_AUX_JARS_PATH/opt/installs/hive/lib
export HADOOP_HEAPSIZE4096
hive-site.xml
将以前的设置全部删除
!--配置MySql的连接字符串--
property
namejavax.jdo.option.ConnectionURL/name
valuejdbc:mysql://localhost:3306/hive?createDatabaseIfNotExisttrue/value descriptionJDBC connect string for a JDBC metastore/description
/property
!--配置MySql的连接驱动--
property
namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.cj.jdbc.Driver/value
descriptionDriver class name for a JDBC metastore/description
/property
!--配置登录MySql的用户--
property
namejavax.jdo.option.ConnectionUserName/name
valueroot/value
descriptionusername to use against metastore database/description
/property
!--配置登录MySql的密码--
property
namejavax.jdo.option.ConnectionPassword/name
value123456/value
descriptionpassword to use against metastore database/description
/property
!-- 以下两个不需要修改只需要了解即可 --
!-- 该参数主要指定Hive的数据存储目录 --
property
namehive.metastore.warehouse.dir/name
value/user/hive/warehouse/value
/property
!-- 该参数主要指定Hive的临时文件存储目录 --
property
namehive.exec.scratchdir/name
value/tmp/hive/value
/property
!--Hive工作的本地临时存储空间--
property
namehive.exec.local.scratchdir/name
value/opt/installs/hive/iotmp/root/value
/property
!--如果启用了日志功能则存储操作日志的顶级目录--
property
namehive.server2.logging.operation.log.location/name value/opt/installs/hive/iotmp/root/operation_logs/value
/property
!--Hive运行时结构化日志文件的位置--
property namehive.querylog.location/name value/opt/installs/hive/iotmp/root/value
/property
!--用于在远程文件系统中添加资源的临时本地目录--
property
namehive.downloaded.resources.dir/name value/opt/installs/hive/iotmp/${Hive.session.id}_resources/value
/property
property
namehive.server2.thrift.bind.host/name
valueshucang/value
descriptionBind host on which to run the HiveServer2 Thrift service./description /property
property
namehive.server2.thrift.port/name value10000/value
descriptionPort number of HiveServer2 Thrift interface when hive.server2.transport.mode is binary./description
/property
property
namehive.metastore.uris/name
valuethrift://shucang:9083/value
/property
5、创建各种目录和文件夹
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /tmp/hive/
hdfs dfs -chmod 750 /user/hive/warehouse
hdfs dfs -chmod 777 /tmp/hive cd /opt/installs/hive/
mkdir iotmp chmod 777 iotmp
拷贝驱动包到lib
core-site.xml[hadoop]
property
namehadoop.proxyuser.root.hosts/name
value*/value
/property
property
namehadoop.proxyuser.root.groups/name
value*/value
/property
property
namehadoop.http.staticuser.user/name
valueroot/value
/property
!-- 不开启权限检查 --
property
namedfs.permissions.enabled/name
valuefalse/value
/property
格式化元数据
schematool --initSchema -dbType mysql
启用元数据 metastore
-- 拷贝一个脚本
hive-service-manager.sh
cd /usr/local/bin chmod 777
hive-server-manager.sh
hive-service-manager.sh
#!/bin/bash
# hive 服务控制脚本可以控制 Hive 的 metastore 和 hiveserver2 服务的启停
# 使用方式: hive-server-manager.sh [start|stop|status] [metastore|hiveserver2]
# - start : 一键开启metastore和hiveserver2服务也可以指定服务开启
# - stop : 一键停止metastore和hiveserver2服务也可以指定服务停止
# - status : 一键查看metastore和hiveserver2服务也可以指定服务查看
help_info() {
echo --------------------------------------------------------------------------------
echo | 本脚本可以一键控制 Hive 的 metastore 和 hiveserver2 服务 |
echo | 使用方式: hive-server-manager.sh [start|stop|status] [metastore|hiveserver2] | echo --------------------------------------------------------------------------------
echo | 第一个参数用来指定操作命令可以选择 开始(start)、停止(stop)、状态查看(status) |
echo | 第二个参数用来指定操作的服务可以选择 metastore、hiveserver2默认为全部 |
echo --------------------------------------------------------------------------------
echo | - start : 一键开启metastore和hiveserver2服务也可以指定服务开启 |
echo | - stop : 一键停止metastore和hiveserver2服务也可以指定服务停止 |
echo | - status : 一键查看metastore和hiveserver2服务也可以指定服务查看 |
echo -------------------------------------------------------------------------------- exit -1
}
# 获取操作命令
op$1
# 获取操作的服务
server$2
# 检查参数是否正确
if [ ! $op ]; then
help_info
elif [ $op ! start -a $op ! stop -a $op ! status ]; then
help_info
fi
# 检查进程状态
metastore_pidps aux | grep org.apache.hadoop.hive.metastore.HiveMetaStore | grep -v grep | awk {print $2}
hiveserver2_pidps aux | grep proc_hiveserver2 | grep -v grep | awk {print $2}
# 检查日志文件夹的存在情况如果不存在则创建这个文件夹 log_dir/var/log/my_hive_log
if [ ! -e $log_dir ]; then
mkdir -p $log_dir
fi
# 开启服务
start_metastore() {
# 检查是否开启如果未开启则开启 metastore 服务
if [ $metastore_pid ]; then
echo metastore 服务已经开启进程号: $metastore_pid已跳过
else
nohup hive --service metastore $log_dir/metastore.log 21 echo metastore 服务已经开启日志输出在 $log_dir/metastore.log
fi
}
start_hiveserver2() {
# 检查是否开启如果未开启则开启 hiveserver2 服务
if [ $hiveserver2_pid ]; then
echo hiveserver2 服务已经开启进程号: $hiveserver2_pid已跳过
else
nohup hive --service hiveserver2 $log_dir/hiveserver2.log 21 echo hiveserver2 服务已经开启日志输出在 $log_dir/hiveserver2.log
fi
}
# 停止服务
stop_metastore() {
if [ $metastore_pid ]; then
kill -9 $metastore_pid fi echo metastore 服务已停止
}
stop_hiveserver2() {
if [ $hiveserver2_pid ]; then
kill -9 $hiveserver2_pid
fi
echo hiveserver2 服务已停止
}
# 查询服务
status_metastore() {
if [ $metastore_pid ]; then
echo metastore 服务已开启进程号: $metastore_pid
else
echo metastore 服务未开启
fi
}
status_hiveserver2() {
if [ $hiveserver2_pid ]; then echo hiveserver2 服务已开启进程号: $hiveserver2_pid
else
echo hiveserver2 服务未开启
fi
}
# 控制操作
if [ ! $server ]; then
${op}_metastore ${op}_hiveserver2
elif [ $server metastore ]; then
${op}_metastore
elif [ $server hiveserver2 ]; then
${op}_hiveserver2
else
echo 服务选择错误
help_info
fi
设置远程连接
hive-server-manager.sh start
六、安装Flume、DataX和SQOOP
6.1、解压、重命名
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/installs/
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop#也可以使用如下命令--strip-components 1 解压后获取一层里面的内容
mkdir /opt/installs/sqoop tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/installs/sqoop --strip-components 1
6.2、配置环境变量
export SQOOP_HOME/opt/installs/sqoop
export PATH$PATH:$SQOOP_HOME/bin
#刷新环境变量
source /etc/profile
6.3、修改配置文件
cp sqoop-env-template.sh sqoop-env.shvi sqoop-env.sh
export HADOOP_COMMON_HOME/opt/installs/hadoop
export HADOOP_MAPRED_HOME/opt/installs/hadoop
export HIVE_HOME/opt/installs/hive
6.4、拷贝mysql8.0的驱动包
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar /opt/installs/sqoop/lib/
七、安装DS[单机版]
7.1、上传解压
tar -zxvf apache-dolphinscheduler-3.1.8-bin.tar.gz -C /opt/installs/
mv apache-dolphinscheduler-3.1.8-bin dolphinscheduler
7.2、拷贝mysql8.0的驱动包
cd /opt/installs/dolphinschedulercp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./api-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./alert-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./master-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./worker-server/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./tools/libs/
cp /opt/installs/hive/lib/mysql-connector-java-8.0.26.jar ./standalone-server/libs/standalone-server/
7.3、在mysql中创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
在Linux黑窗口运行
export DATABASEmysql
export SPRING_PROFILES_ACTIVEdolphinscheduler
export SPRING_DATASOURCE_URLjdbc:mysql://shucang:3306/dolphinscheduler?useUnicodetruecharacterEncodingUTF-8useSSLfalseallowPublicKeyRetrievaltrue
export SPRING_DATASOURCE_USERNAMEroot
export SPRING_DATASOURCE_PASSWORD123456
初始化数据库
bash tools/bin/upgrade-schema.sh
修改配置文件/opt/installs/dolphinscheduler/standalone-server/conf
修改 DolphinScheduler 的配置
在 DolphinScheduler 的安装目录下找到 conf/application.yaml 文件。
将其中关于数据库连接的部分修改为指向你的 MySQL 实例包括用户名、密码、数据库名等信息。以下是修改后的示例datasource:driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://shucang:3306/dolphinscheduler?useUnicodetruecharacterEncodingUTF-8useSSLfalseallowPublicKeyRetrievaltrueusername: rootpassword: 123456
如何启动和关闭单机版
注意: Standalone 仅建议 20 个以下工作流使用因为其采用内存式的 H2 Database, Zookeeper Testing Server任务过多可能导致不稳定并且如果重启或者停止 standalone-server 会导致内存中数据库里的数据清空。 如何启动和关闭单机版
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server
单机模式比较省内存
访问地址http://shucang:12345/dolphinscheduler/ui
账号和密码 admin dolphinscheduler123
问题上传资源提示 存储未启用 如何开启HDFS
这个软件下面有很多的服务将每一个服务下的common.properties中的内容全部修改一遍,最后重启服务
#修改所有组件下的common.propertiesresource.storage.typeHDFS
resource.storage.upload.base.path/dolphinscheduler
resource.hdfs.fs.defaultFShdfs://shucang:9820#修改hdfs的权限
hdfs dfs -chmod 777 /
八、总结
搭建数仓项目环境涉及多个组件和工具的安装与配置每个步骤都至关重要。本文介绍了从JDK安装、Hadoop、Hive的搭建到数据采集工具Flume、数据同步工具DataX以及调度工具DS的完整流程。通过这些工具的协同工作可以实现高效稳定的数据仓库环境。 文章转载自： http://www.morning.rzysq.cn.gov.cn.rzysq.cn http://www.morning.nlgyq.cn.gov.cn.nlgyq.cn http://www.morning.rdkqt.cn.gov.cn.rdkqt.cn http://www.morning.rlrxh.cn.gov.cn.rlrxh.cn http://www.morning.rrgqq.cn.gov.cn.rrgqq.cn http://www.morning.jkftn.cn.gov.cn.jkftn.cn http://www.morning.mhwtq.cn.gov.cn.mhwtq.cn http://www.morning.hyjpl.cn.gov.cn.hyjpl.cn http://www.morning.crkhd.cn.gov.cn.crkhd.cn http://www.morning.bfysg.cn.gov.cn.bfysg.cn http://www.morning.lnbcg.cn.gov.cn.lnbcg.cn http://www.morning.fyskq.cn.gov.cn.fyskq.cn http://www.morning.lkkgq.cn.gov.cn.lkkgq.cn http://www.morning.nngq.cn.gov.cn.nngq.cn http://www.morning.rdnpg.cn.gov.cn.rdnpg.cn http://www.morning.xrwtk.cn.gov.cn.xrwtk.cn http://www.morning.txmlg.cn.gov.cn.txmlg.cn http://www.morning.nypsz.cn.gov.cn.nypsz.cn http://www.morning.qwbht.cn.gov.cn.qwbht.cn http://www.morning.xinyishufa.cn.gov.cn.xinyishufa.cn http://www.morning.jjzxn.cn.gov.cn.jjzxn.cn http://www.morning.jbfzx.cn.gov.cn.jbfzx.cn http://www.morning.ytbr.cn.gov.cn.ytbr.cn http://www.morning.tngdn.cn.gov.cn.tngdn.cn http://www.morning.mlpch.cn.gov.cn.mlpch.cn http://www.morning.yxnfd.cn.gov.cn.yxnfd.cn http://www.morning.dbdmr.cn.gov.cn.dbdmr.cn http://www.morning.qfbzj.cn.gov.cn.qfbzj.cn http://www.morning.gwmny.cn.gov.cn.gwmny.cn http://www.morning.fhtbk.cn.gov.cn.fhtbk.cn http://www.morning.zcwwb.cn.gov.cn.zcwwb.cn http://www.morning.wjjxr.cn.gov.cn.wjjxr.cn http://www.morning.gqbtw.cn.gov.cn.gqbtw.cn http://www.morning.lfttb.cn.gov.cn.lfttb.cn http://www.morning.ldcrh.cn.gov.cn.ldcrh.cn http://www.morning.mdmc.cn.gov.cn.mdmc.cn http://www.morning.wmpw.cn.gov.cn.wmpw.cn http://www.morning.lkfhk.cn.gov.cn.lkfhk.cn http://www.morning.tndxg.cn.gov.cn.tndxg.cn http://www.morning.qkskm.cn.gov.cn.qkskm.cn http://www.morning.krjyq.cn.gov.cn.krjyq.cn http://www.morning.wtyqs.cn.gov.cn.wtyqs.cn http://www.morning.wnhsw.cn.gov.cn.wnhsw.cn http://www.morning.qrcsb.cn.gov.cn.qrcsb.cn http://www.morning.ccyns.cn.gov.cn.ccyns.cn http://www.morning.krdb.cn.gov.cn.krdb.cn http://www.morning.rdnpg.cn.gov.cn.rdnpg.cn http://www.morning.yqpck.cn.gov.cn.yqpck.cn http://www.morning.ckhyj.cn.gov.cn.ckhyj.cn http://www.morning.dydqh.cn.gov.cn.dydqh.cn http://www.morning.scjtr.cn.gov.cn.scjtr.cn http://www.morning.zbnts.cn.gov.cn.zbnts.cn http://www.morning.jppdk.cn.gov.cn.jppdk.cn http://www.morning.xbckm.cn.gov.cn.xbckm.cn http://www.morning.yrmgh.cn.gov.cn.yrmgh.cn http://www.morning.stxg.cn.gov.cn.stxg.cn http://www.morning.ryxdr.cn.gov.cn.ryxdr.cn http://www.morning.tkrdg.cn.gov.cn.tkrdg.cn http://www.morning.wblpn.cn.gov.cn.wblpn.cn http://www.morning.ygkb.cn.gov.cn.ygkb.cn http://www.morning.qcztm.cn.gov.cn.qcztm.cn http://www.morning.gkmwk.cn.gov.cn.gkmwk.cn http://www.morning.qgfy.cn.gov.cn.qgfy.cn http://www.morning.sfnjr.cn.gov.cn.sfnjr.cn http://www.morning.tbplf.cn.gov.cn.tbplf.cn http://www.morning.nbfkk.cn.gov.cn.nbfkk.cn http://www.morning.hwhnx.cn.gov.cn.hwhnx.cn http://www.morning.kzpxc.cn.gov.cn.kzpxc.cn http://www.morning.kwrzg.cn.gov.cn.kwrzg.cn http://www.morning.xcjbk.cn.gov.cn.xcjbk.cn http://www.morning.lfcnj.cn.gov.cn.lfcnj.cn http://www.morning.bgxgq.cn.gov.cn.bgxgq.cn http://www.morning.bndkf.cn.gov.cn.bndkf.cn http://www.morning.qnrpj.cn.gov.cn.qnrpj.cn http://www.morning.hzryl.cn.gov.cn.hzryl.cn http://www.morning.brld.cn.gov.cn.brld.cn http://www.morning.kfcfq.cn.gov.cn.kfcfq.cn http://www.morning.ktblf.cn.gov.cn.ktblf.cn http://www.morning.ppbqz.cn.gov.cn.ppbqz.cn http://www.morning.xuejitest.com.gov.cn.xuejitest.com
