网站首页加载特效,网站跳出率高怎么办,樟木头电子网站建设报价,网站建设推广公众号制作推广青岛文章目录 概述下载解压安装伪分布式模式配置hdfs配置hadoop-env.shssh免密登录模式设置初始化HDFS启动hdfs配置yarn启动yarn 概述
该文档是基于hadoop3.2.2版本升级到hadoop3.3.6版本#xff0c;所以有些配置#xff0c;是可以不用做的#xff0c;下面仅记录新增操作#… 文章目录 概述下载解压安装伪分布式模式配置hdfs配置hadoop-env.shssh免密登录模式设置初始化HDFS启动hdfs配置yarn启动yarn 概述
该文档是基于hadoop3.2.2版本升级到hadoop3.3.6版本所以有些配置是可以不用做的下面仅记录新增操作其他操作参见其他文章Hadoop3.2.1安装-单机模式和伪分布式模式。
下载
https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/
下载hadoop-3.3.6.tar.gz版本
解压安装
tar -zxvf hadoop-3.3.6.tar.gz修改环境变量
vi /etc/profile增加以下内容
# Hadoop Environment Variables
export HADOOP_HOME/home/XXX/hadoop-3.3.6
export HADOOP_INSTALL$HADOOP_HOME
export HADOOP_MAPRED_HOME$HADOOP_HOME
export HADOOP_COMMON_HOME$HADOOP_HOME
export HADOOP_HDFS_HOME$HADOOP_HOME
export YARN_HOME$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native
export PATH$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin# 刷新配置
source /etc/profile到bin目录下查看版本
./hadoop version可以看到显示V3.3.6配置安装成功若直接以单机模式运行到这里已经完成了安装。但是单机模式无法使用hdfs分布式文件系统功能。所以继续配置 伪分布式模式。
伪分布式模式
配置hdfs
etc/hadoop/core-site.xml文件配置
configuration
!-- 配置dataNode保存数据的位置 --propertynamehadoop.tmp.dir/namevalue/home/XXX/hadoop-3.3.6/tmp/valuedescriptionAbase for other temporary directories./description/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:39000/value/property
/configuration配置hdfs文件系统访问的默认根路径。
etc/hadoop/hdfs-site.xml文件配置
configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevalue/home/XXX/hadoop-3.3.6/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevalue/home/XXX/hadoop-3.3.6/tmp/dfs/data/value/propertypropertynamedfs.namenode.http-address/namevalue0.0.0.0:9870/value/property
/configuration配置hadoop-env.sh
为了防止后续会奇怪的错误建议这里将hadoop和java的环境变量在hadoop下的hadoop-env.sh文件中再配置一遍
export HADOOP_HOME/home/XXX/hadoop-3.3.6
export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native
export HADOOP_OPTS$HADOOP_OPTS -Djava.library.path$HADOOP_HOME/lib/nativeexport JAVA_HOME/home/XXX/jdk1.8.0_201-amd64ssh免密登录模式设置
参考hadoop3.2.1安装里的设置这里需要使用hadoop用户操作。因为伪分布式是在一台机器上起了几个进程来模拟hadoop的运行角色各进程间需要连接通信所以要设置免密登录。
# 切换到hadoop用户
su hadoop
# 验证是否设置免密登录
ssh localhost显示
Last login: Mon Dec 30 16:26:29 2024则设置成功。
初始化HDFS
# 进入hadoop bin 目录执行
hdfs namenode -format启动hdfs
在sbin目录修改start-dfs.sh,stop-dfs.sh脚本,在文件头部增加如下脚本HDFS_DATANODE_USERhadoopHADOOP_SECURE_DN_USERhadoopHDFS_NAMENODE_USERhadoopHDFS_SECONDARYNAMENODE_USERhadoop要以hadoop用户启动
su hadoop
# 进入sbin启动dfs
./start-dfs.sh
# 关闭dfs
./stop-dfs.sh
# 查看启动状态
jps网页访问
http://localhost:9870/查看hdfs文件目录
http://localhost:9870/explorer.html配置yarn
etc/hadoop/mapred-site.xml文件
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapreduce.application.classpath/namevalue$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*/value/property
/configurationetc/hadoop/yarn-site.xml文件
configurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME/value/property
/configuration启动yarn
./start-yarn.sh网页查看
http://localhost:8088/至此伪分布式模式搭建完成。
hadoop启动后进程id信息会被存到临时目录会被系统定时清理等到stop的时候会找不到进程信息所以需要修改进程id存储路径修改hadoop-env.sh 文件
export HADOOP_PID_DIR/usr/local/hadoop/pids/
文章转载自： http://www.morning.qbtkg.cn.gov.cn.qbtkg.cn http://www.morning.xmpbh.cn.gov.cn.xmpbh.cn http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn http://www.morning.sqnxk.cn.gov.cn.sqnxk.cn http://www.morning.tfpmf.cn.gov.cn.tfpmf.cn http://www.morning.mftdq.cn.gov.cn.mftdq.cn http://www.morning.jfjqs.cn.gov.cn.jfjqs.cn http://www.morning.zmpsl.cn.gov.cn.zmpsl.cn http://www.morning.xkzr.cn.gov.cn.xkzr.cn http://www.morning.fphbz.cn.gov.cn.fphbz.cn http://www.morning.nxtgb.cn.gov.cn.nxtgb.cn http://www.morning.dhrbj.cn.gov.cn.dhrbj.cn http://www.morning.rmtmk.cn.gov.cn.rmtmk.cn http://www.morning.wlbwp.cn.gov.cn.wlbwp.cn http://www.morning.xjmpg.cn.gov.cn.xjmpg.cn http://www.morning.cbvlus.cn.gov.cn.cbvlus.cn http://www.morning.kzdwt.cn.gov.cn.kzdwt.cn http://www.morning.yqmmh.cn.gov.cn.yqmmh.cn http://www.morning.mrfbp.cn.gov.cn.mrfbp.cn http://www.morning.mcpdn.cn.gov.cn.mcpdn.cn http://www.morning.hclqy.cn.gov.cn.hclqy.cn http://www.morning.txltb.cn.gov.cn.txltb.cn http://www.morning.hydkd.cn.gov.cn.hydkd.cn http://www.morning.ypzr.cn.gov.cn.ypzr.cn http://www.morning.bpmfn.cn.gov.cn.bpmfn.cn http://www.morning.mxmtt.cn.gov.cn.mxmtt.cn http://www.morning.zhnyj.cn.gov.cn.zhnyj.cn http://www.morning.xyrw.cn.gov.cn.xyrw.cn http://www.morning.kcsx.cn.gov.cn.kcsx.cn http://www.morning.bnxnq.cn.gov.cn.bnxnq.cn http://www.morning.fzwf.cn.gov.cn.fzwf.cn http://www.morning.kybyf.cn.gov.cn.kybyf.cn http://www.morning.cylbs.cn.gov.cn.cylbs.cn http://www.morning.pakistantractors.com.gov.cn.pakistantractors.com http://www.morning.plznfnh.cn.gov.cn.plznfnh.cn http://www.morning.rnrwq.cn.gov.cn.rnrwq.cn http://www.morning.rlxg.cn.gov.cn.rlxg.cn http://www.morning.qbtj.cn.gov.cn.qbtj.cn http://www.morning.rgkd.cn.gov.cn.rgkd.cn http://www.morning.mbbgk.com.gov.cn.mbbgk.com http://www.morning.ljpqy.cn.gov.cn.ljpqy.cn http://www.morning.rzcfg.cn.gov.cn.rzcfg.cn http://www.morning.jmdpp.cn.gov.cn.jmdpp.cn http://www.morning.tdgwg.cn.gov.cn.tdgwg.cn http://www.morning.zlff.cn.gov.cn.zlff.cn http://www.morning.tqwcm.cn.gov.cn.tqwcm.cn http://www.morning.rksnk.cn.gov.cn.rksnk.cn http://www.morning.nlwrg.cn.gov.cn.nlwrg.cn http://www.morning.yqsr.cn.gov.cn.yqsr.cn http://www.morning.dlgjdg.cn.gov.cn.dlgjdg.cn http://www.morning.yunease.com.gov.cn.yunease.com http://www.morning.pdynk.cn.gov.cn.pdynk.cn http://www.morning.xpzkr.cn.gov.cn.xpzkr.cn http://www.morning.kscwt.cn.gov.cn.kscwt.cn http://www.morning.lfqtp.cn.gov.cn.lfqtp.cn http://www.morning.bnxfj.cn.gov.cn.bnxfj.cn http://www.morning.drwpn.cn.gov.cn.drwpn.cn http://www.morning.daidudu.com.gov.cn.daidudu.com http://www.morning.mcpby.cn.gov.cn.mcpby.cn http://www.morning.rhmk.cn.gov.cn.rhmk.cn http://www.morning.nwljj.cn.gov.cn.nwljj.cn http://www.morning.xylxm.cn.gov.cn.xylxm.cn http://www.morning.qpqb.cn.gov.cn.qpqb.cn http://www.morning.ffksr.cn.gov.cn.ffksr.cn http://www.morning.fqyqm.cn.gov.cn.fqyqm.cn http://www.morning.rybr.cn.gov.cn.rybr.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.wpcfm.cn.gov.cn.wpcfm.cn http://www.morning.psxxp.cn.gov.cn.psxxp.cn http://www.morning.lmfmd.cn.gov.cn.lmfmd.cn http://www.morning.mggwr.cn.gov.cn.mggwr.cn http://www.morning.rhqn.cn.gov.cn.rhqn.cn http://www.morning.dqwkm.cn.gov.cn.dqwkm.cn http://www.morning.hqllj.cn.gov.cn.hqllj.cn http://www.morning.ktmpw.cn.gov.cn.ktmpw.cn http://www.morning.ktlxk.cn.gov.cn.ktlxk.cn http://www.morning.qyqdz.cn.gov.cn.qyqdz.cn http://www.morning.jrsgs.cn.gov.cn.jrsgs.cn http://www.morning.wgkz.cn.gov.cn.wgkz.cn http://www.morning.rgxf.cn.gov.cn.rgxf.cn
