当前位置：首页 > news >正文

网站后期维护很难吗网站的功能性

news 2025/10/21 19:30:19

网站后期维护很难吗,网站的功能性,我想承包小工程,外网常用网站听说这里是目录哦一、安装Hadoop#x1f955;二、配置Hadoop系统环境变量#x1f96e;三、验证Hadoop系统环境变量是否配置成功#x1f9c1;四、修改Hadoop配置文件#x1f36d;五、分发Hadoop安装目录#x1f9cb;六、分发系统环境变量文件#x1f368;七、格式化HDFS文… 听说这里是目录哦一、安装Hadoop二、配置Hadoop系统环境变量三、验证Hadoop系统环境变量是否配置成功四、修改Hadoop配置文件五、分发Hadoop安装目录六、分发系统环境变量文件七、格式化HDFS文件系统八、启动Hadoop九、查看Hadoop运行状态搭建时遇到的问题⚠️logs does not exist. Creatingsecondary namenode等丢失jps时看不到能量站前提是集群里的虚拟机间实现了免密登录以及JDK的成功安装执行 java -version查看JDK版本号。【可以参考 Hadoop•FinalShell连接VMware免密登录和 Hadoop•安装JDK】【这里是以test为主结点、test1和test2为从结点。如果看到node了就是我忘改了node的是以node1为主结点、node2和node3为从结点。怕真出现了会迷惑还是谨慎一点点~】一、安装Hadoop 三台机子的JDK和Hadoop版本必须一致电脑下载Hadoop安装包需要该安装包可以在文章下面评论1如果宝贝是学生你们老师应该会给命令记得要根据安装包名字对应更改哦用FinalShell直接上传到虚拟机用mv命令移动到所需文件夹。如mv /jdk-8u271-linux-x64.tar.gz /export/software即mv /要移动文件的名字/要移动到的文件夹如果显示没有那个文件或目录“Hadoop•安装JDK”里有解决办法将位于/export/software的文件名为hadoop-3.3.0.tar.gz的Hadoop安装包解压缩到/export/servers命令为tar -zxvf /export/software/hadoop-3.3.0.tar.gz -C /export/servers 这里的目录约定在Hadoop•安装JDK有说明二、配置Hadoop系统环境变量编辑环境变量的配置文件命令为vi /etc/profile在文件底部添加这些你所安装的Hadoop解压缩后的路径以及它的bin目录包含Hadoop可执行文件和sbin目录包含系统级别的Hadoop可执行文件用于启动和停止Hadoop服务的路径。编好后保存退出用source /etc/profile使环境变量生效。添加 export HADOOP_HOME/export/servers/hadoop-3.3.0export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 增加理解三、验证Hadoop系统环境变量是否配置成功执行hadoop version命令可以查看到Hadoop版本号就成功了跟查看JDK版本号的命令不同这个命令version前没有横杠- 四、修改Hadoop配置文件修改的都是自己后来装的Hadoop3.3.0【/export/servers/hadoop-3.3.0/etc/hadoop】里的一共要修改六个文件。 hadoop-env.sh 在底部添加 export JAVA_HOME/export/servers/jdk1.8.0_271 #文件最后添加 export HDFS_NAMENODE_USERroot export HDFS_DATANODE_USERroot export HDFS_SECONDARYNAMENODE_USERroot export YARN_RESOURCEMANAGER_USERroot我是分割线 core-site.xml 在底部添加 configuration property namefs.defaultFS/name valuehdfs://test:8020/value /property property namehadoop.tmp.dir/name value/export/data/hadoop-3.3.0/value /property !-- 设置HDFS web UI用户身份 -- property namehadoop.http.staticuser.user/name valueroot/value /property !-- 整合hive -- property namehadoop.proxyuser.root.hosts/name value*/value /property property namehadoop.proxyuser.root.groups/name value*/value /property !-- 文件系统垃圾桶保存时间 -- property namefs.trash.interval/name value1440/value /property /configuration我是分割线 hdfs-site.xml 在底部添加 configuration property namedfs.replication/name value2/value /property property namedfs.namenode.secondary.http-address/name valuetest1:9868/value /property /configuration我是分割线 mapred-site.xml 在底部添加 configuration property namemapreduce.framework.name/name valueyarn/value /property !-- 历史服务器端地址 -- property namemapreduce.jobhistory.address/name valuetest:10020/value /property !-- 历史服务器web端地址 -- property namemapreduce.jobhistory.webapp.address/name valuetest:19888/value /property property nameyarn.app.mapreduce.am.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property property namemapreduce.map.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property property namemapreduce.reduce.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property /configuration我是分割线 yarn-site.xml 在底部添加 configuration property nameyarn.resourcemanager.hostname/name valuetest/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property !-- 是否将对容器实施物理内存限制 -- property nameyarn.nodemanager.pmem-check-enabled/name valuefalse/value /property !-- 是否将对容器实施虚拟内存限制。 -- property nameyarn.nodemanager.vmem-check-enabled/name valuefalse/value /property !-- 开启日志聚集 -- property nameyarn.log-aggregation-enable/name valuetrue/value /property !-- 保存的时间7天 -- property nameyarn.log-aggregation.retain-seconds/name value604800/value /property /configuration我是分割线 workers 最终修改为core-site.xml已经指定了主节点的地址这里只要列出从节点地址就能让集群识别主从结点了【下面是两个从节点的名字】: test1 test2五、分发Hadoop安装目录分发到test1 scp -r /export/servers/hadoop-3.3.0 roottest1:/export/servers 分发到test2 scp -r /export/servers/hadoop-3.3.0 roottest2:/export/servers 六、分发系统环境变量文件分发到test1 scp /etc/profile roottest1:/etc 分发到test2 scp /etc/profile roottest2:/etc 分发完后在test1和test2执行source /etc/profile 七、格式化HDFS文件系统在主结点test执行hdfs namenode -format注意只有初次启动Hadoop集群前才需要格式化。八、启动Hadoop 在主结点test执行start-dfs.sh和start-yarn.sh实现在三台虚拟机上启动HDFS和YARN的相关服务。如果要关闭Hadoop则在主结点test执行stop-dfs.sh和stop-yarn.sh的命令。(或者start-all.sh一键启动) start-all.sh一键启动在Hadoop 2.x版本中已经被弃用在Hadoop 3.x版本中仍然可以使用但建议分别使用start-dfs.sh和start-yarn.sh来启动HDFS和YARN服务以避免潜在的问题。总的来说就是最好分别启动。我是分割线九、查看Hadoop运行状态分别在三台虚拟机执行jps命令查看Hadoop运行状态。搭建时遇到的问题⚠️ logs does not exist. Creating 这里是以test为主结点、test1和test2为从结点。问题test1: WARNING: /export/servers/hadoop-3.3.0/logs does not exist. Creating. 解决办法在三个节点上启动journalnode命令是hdfs --daemon start journalnode就是三台虚拟机都需要执行这个命令。 secondary namenode等丢失jps时看不到问题多次格式化导致secondary namenode等丢失jps时看不到解决办法关闭集群 stop-all.sh或stop-dfs.sh和stop-yarn.sh 删除集群产生的缓存文件三台机子都要一/export/data的hadoop文件夹三台机子都要二删除/export/servers/hadoop-3.1.4/logs三台机子都要也是先刷新哦然后整个文件夹直接删掉格式化后会自己创建的重新格式化 hdfs namenode -format 能量站我遇到的挑战可以帮助我成长。 ❤️谢谢你为自己努力❤️
文章转载自：
http://www.morning.hrydl.cn.gov.cn.hrydl.cn
http://www.morning.qxwwg.cn.gov.cn.qxwwg.cn
http://www.morning.ydzly.cn.gov.cn.ydzly.cn
http://www.morning.sfwcx.cn.gov.cn.sfwcx.cn
http://www.morning.cdlewan.com.gov.cn.cdlewan.com
http://www.morning.cftkz.cn.gov.cn.cftkz.cn
http://www.morning.gfznl.cn.gov.cn.gfznl.cn
http://www.morning.lyrgp.cn.gov.cn.lyrgp.cn
http://www.morning.xtqld.cn.gov.cn.xtqld.cn
http://www.morning.yptwn.cn.gov.cn.yptwn.cn
http://www.morning.xhfky.cn.gov.cn.xhfky.cn
http://www.morning.lstmq.cn.gov.cn.lstmq.cn
http://www.morning.syrzl.cn.gov.cn.syrzl.cn
http://www.morning.nllst.cn.gov.cn.nllst.cn
http://www.morning.wqwbj.cn.gov.cn.wqwbj.cn
http://www.morning.mnjwj.cn.gov.cn.mnjwj.cn
http://www.morning.a3e2r.com.gov.cn.a3e2r.com
http://www.morning.rtkgc.cn.gov.cn.rtkgc.cn
http://www.morning.bnrff.cn.gov.cn.bnrff.cn
http://www.morning.jpgfx.cn.gov.cn.jpgfx.cn
http://www.morning.tpnxr.cn.gov.cn.tpnxr.cn
http://www.morning.xxlz.cn.gov.cn.xxlz.cn
http://www.morning.fpxms.cn.gov.cn.fpxms.cn
http://www.morning.mgnrc.cn.gov.cn.mgnrc.cn
http://www.morning.mrckk.cn.gov.cn.mrckk.cn
http://www.morning.vtbtje.cn.gov.cn.vtbtje.cn
http://www.morning.jhkzl.cn.gov.cn.jhkzl.cn
http://www.morning.fhykt.cn.gov.cn.fhykt.cn
http://www.morning.rtmqy.cn.gov.cn.rtmqy.cn
http://www.morning.yktr.cn.gov.cn.yktr.cn
http://www.morning.rpkl.cn.gov.cn.rpkl.cn
http://www.morning.kfmnf.cn.gov.cn.kfmnf.cn
http://www.morning.qichetc.com.gov.cn.qichetc.com
http://www.morning.btwrj.cn.gov.cn.btwrj.cn
http://www.morning.wiitw.com.gov.cn.wiitw.com
http://www.morning.ypklb.cn.gov.cn.ypklb.cn
http://www.morning.srkwf.cn.gov.cn.srkwf.cn
http://www.morning.llfwg.cn.gov.cn.llfwg.cn
http://www.morning.tymnr.cn.gov.cn.tymnr.cn
http://www.morning.mrqwy.cn.gov.cn.mrqwy.cn
http://www.morning.kqlrl.cn.gov.cn.kqlrl.cn
http://www.morning.xrnh.cn.gov.cn.xrnh.cn
http://www.morning.ntgrn.cn.gov.cn.ntgrn.cn
http://www.morning.ttcmdsg.cn.gov.cn.ttcmdsg.cn
http://www.morning.jwqqd.cn.gov.cn.jwqqd.cn
http://www.morning.pmjhm.cn.gov.cn.pmjhm.cn
http://www.morning.lbpfl.cn.gov.cn.lbpfl.cn
http://www.morning.lfxcj.cn.gov.cn.lfxcj.cn
http://www.morning.mpyry.cn.gov.cn.mpyry.cn
http://www.morning.wdpt.cn.gov.cn.wdpt.cn
http://www.morning.zrrgx.cn.gov.cn.zrrgx.cn
http://www.morning.tlfmr.cn.gov.cn.tlfmr.cn
http://www.morning.kxypt.cn.gov.cn.kxypt.cn
http://www.morning.zylzk.cn.gov.cn.zylzk.cn
http://www.morning.xqcbz.cn.gov.cn.xqcbz.cn
http://www.morning.xckdn.cn.gov.cn.xckdn.cn
http://www.morning.sgmgz.cn.gov.cn.sgmgz.cn
http://www.morning.wpcfm.cn.gov.cn.wpcfm.cn
http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn
http://www.morning.krwzy.cn.gov.cn.krwzy.cn
http://www.morning.tgtwy.cn.gov.cn.tgtwy.cn
http://www.morning.mdtfh.cn.gov.cn.mdtfh.cn
http://www.morning.rjtmg.cn.gov.cn.rjtmg.cn
http://www.morning.xshkh.cn.gov.cn.xshkh.cn
http://www.morning.ldqrd.cn.gov.cn.ldqrd.cn
http://www.morning.lqlc.cn.gov.cn.lqlc.cn
http://www.morning.lyjwb.cn.gov.cn.lyjwb.cn
http://www.morning.psxcr.cn.gov.cn.psxcr.cn
http://www.morning.nkyc.cn.gov.cn.nkyc.cn
http://www.morning.rwpjq.cn.gov.cn.rwpjq.cn
http://www.morning.zrkp.cn.gov.cn.zrkp.cn
http://www.morning.hlhqs.cn.gov.cn.hlhqs.cn
http://www.morning.hbfqm.cn.gov.cn.hbfqm.cn
http://www.morning.zrpbf.cn.gov.cn.zrpbf.cn
http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn
http://www.morning.qrwnj.cn.gov.cn.qrwnj.cn
http://www.morning.kehejia.com.gov.cn.kehejia.com
http://www.morning.nknt.cn.gov.cn.nknt.cn
http://www.morning.xkqjw.cn.gov.cn.xkqjw.cn
http://www.morning.gjqwt.cn.gov.cn.gjqwt.cn

查看全文

http://www.tj-hxxt.cn/news/237662.html