当前位置：首页 > news >正文

免费找客户网站文创产品网站

news 2025/11/5 0:57:37

免费找客户网站,文创产品网站,流媒体视频网站建设,赣州今天招工信息赣州人才网目录一、下载Hadoop安装包二、安装Hadoop 0. 安装Hadoop前的必要准备 1. 以root用户登录主节点虚拟机 2. 上传Hadoop安装包到主节点 3. 解压缩安装包到/export/server/目录中 4. 构建软链接三、部署HDFS集群 0. 集群部署规划 1. 进入hadoop安装包内 2 进入etc目录下的hadoop…目录一、下载Hadoop安装包二、安装Hadoop 0. 安装Hadoop前的必要准备 1. 以root用户登录主节点虚拟机 2. 上传Hadoop安装包到主节点 3. 解压缩安装包到/export/server/目录中 4. 构建软链接三、部署HDFS集群 0. 集群部署规划 1. 进入hadoop安装包内 2 进入etc目录下的hadoop目录 3. 配置workers文件 4. 配置hadoop-env.sh文件 5.配置core-site.xml文件 6.配置hdfs-site.xml文件 7. 准备数据目录 8. 分发Hadoop文件夹三、配置环境变量四、为Hadoop用户授权五、格式化HDFS文件系统 1. 格式化namenode 2. 一键启动hdfs集群 3. 使用jps检查运行中的进程 4. 查看HDFS WEBUI 六、拍摄快照保存配置好的虚拟机七、启动和关闭HDFS集群 1. 一键启动HDFS集群 2. 一键关闭HDFS集群一、下载Hadoop安装包 1. 官网下载 2. 百度网盘链接提取码2233 二、安装Hadoop 0. 安装Hadoop前的必要准备在开始部署前请确认已经完成前置准备中的服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH免密、JDK部署等操作。如果不确定请看博主文章http://t.csdn.cn/YlUi5 1. 以root用户登录主节点虚拟机如博主的主节点为node1所以在node1虚拟机中以root身份登录进入/export/server/目录下。 2. 上传Hadoop安装包到主节点将下载好的压缩包拖拽到远程终端软件或在远程终端软件中使用rz命令。 3. 解压缩安装包到/export/server/目录中 1. 进入/export/server/目录: cd /export/server/2. 解压到当前目录下 tar -zxvf hadoop-3.3.4.tar.gz 4. 构建软链接 ln -s /export/server/hadoop-3.3.4 hadoop 三、部署HDFS集群 0. 集群部署规划 1. 进入hadoop安装包内 cd hadoop Hadoop安装包的目录结构现在是集群部署的配置阶段我们着重于etc目录。 2 进入etc目录下的hadoop目录 cd /etc/hadoop 接下来主要要对以下四个文件进行配置 3. 配置workers文件 workers文件的作用是记录大数据集群中的从节点服务器。配置步骤 1. 使用vim打开workers vim workers2. 按i进入插入模式3. 删除原来的lockhoot4. 写入: node1 node2 node35. 按下Esc退出插入模式按下Shift:进入底行模式按下wq!强制保存并退出。 4. 配置hadoop-env.sh文件 hadoop-env.sh文件的作用是记录Hadoop在运行时会用到的一些环境变量。配置步骤 1. 使用vim打开hadoop-env.sh vim hadoop-env.sh2. 按i进入插入模式3. 找个空白的地方最上面写入: export JAVA_HOME/export/server/jdk export HADOOP_HOME/export/server/hadoop export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop export HADOOP_LOG_DIR$HADOOP_HOME/logs4. 按下Esc退出插入模式按下Shift:进入底行模式按下wq!强制保存并退出。说明 JAVA_HOME指明JDK环境的位置在哪 HADOOP_HOME指明Hadoop安装位置 HADOOP_CONF_DIR指明Hadoop配置文件目录位置 HADOOP_LOG_DIR指明Hadoop运行日志目录位置通过记录这些环境变量来指明上述运行时的重要信息5.配置core-site.xml文件该文件的作用是配置一些自定义设置我们要在这里配置NameNode(主节点)的启动和缓冲区大小。配置步骤 1. 使用vim打开core-site.xml vim core-site.xml2. 找到标签configuration/configuration3. 按i进入插入模式在标签中间写入:propertynamefs.defaultFS/namevaluehdfs://node1:8020/value/propertypropertynameio.file.buffer.size/namevalue131072/value/property4. 按下Esc退出插入模式按下Shift:进入底行模式按下wq!强制保存并退出。说明 1.keyfs.defaultFS 含义HDFS文件系统的网络通讯路径值hdfs://node1:8020 协议为hdfs:// namenode主节点为node1 namenode主节点通讯端口为8020 2.keyio.file.buffer.size 含义io操作文件缓冲区大小值131072 bit 3.hdfs://node1:8020为整个HDFS内部的通讯地址应用协议为hdfs://Hadoop内置协议表明DataNode从节点将和node1的8020端口通讯node1是NameNode主节点所在机器此配置固定了node1必须启动NameNode主节点进程 6.配置hdfs-site.xml文件该文件的作用也是配置一些自定义设置我们要在这里配置默认创建的文件权限、主节点数据的存储位置、NameNode(主节点)允许哪几个节点的DataNode(从节点)连接即允许加入集群、hdfs默认块大小、Namenode(主节点)处理的并发线程数、从DataNode(从节点)的数据存储目录。配置步骤 1. 使用vim打开hdfs-site.xml vim hdfs-site.xml2. 找到标签configuration/configuration3. 按i进入插入模式在标签中间写入:propertynamedfs.datanode.data.dir.perm/namevalue700/value/propertypropertynamedfs.namenode.name.dir/namevalue/data/nn/value/propertypropertynamedfs.namenode.hosts/namevaluenode1,node2,node3/value/propertypropertynamedfs.blocksize/namevalue268435456/value/propertypropertynamedfs.namenode.handler.count/namevalue100/value/propertypropertynamedfs.datanode.data.dir/namevalue/data/dn/value/property4. 按下Esc退出插入模式按下Shift:进入底行模式按下wq!强制保存并退出。说明 1.keydfs.datanode.data.dir.perm 含义hdfs文件系统默认创建的文件权限设置值700即rwx------ 2.keydfs.namenode.name.dir 含义NameNode(主节点)元数据的存储位置值/data/nn在node1节点的/data/nn目录下 3.keydfs.namenode.hosts 含义NameNode(主节点)允许哪几个DataNode(从节点)连接即允许加入集群值node1、node2、node3这三台服务器被授权 4.keydfs.blocksize 含义hdfs默认块大小值268435456256MB 5.keydfs.namenode.handler.count 含义Namenode(主节点)处理的并发线程数值100以100个并行度处理文件系统的管理任务 6.keydfs.datanode.data.dir 含义DataNode(从节点)的数据存储目录值/data/dn即数据存放在node1、node2、node3三台机器的/data/dn内7. 准备数据目录在之前的配置中只是指定了主节点和从节点的数据放在哪个文件但我们还没有真正的创建这些文件现在我们就是要创建这些文件。在上一步中的配置中我们把 namenode数据存放在node1虚拟机的/data/nn目录下datanode数据存放在node1、node2、node3虚拟机的/data/dn目录下。所以我们要在node1虚拟机创建/data/nn目录和/data/dn目录在node2、node3虚拟机创建/data/dn目录不要少了data前面的/。步骤 1.在node1虚拟机 mkdir -p /data/nn mkdir -p /data/dn2.在node2和node3虚拟机 mkdir -p /data/dn 8. 分发Hadoop文件夹目前已经基本完成Hadoop的配置操作可以从node1将hadoop安装文件夹远程复制到node2、node3通过scp命令。步骤 1. 在node1虚拟机执行如下命令 cd /export/server scp -r hadoop-3.3.4 node2:pwd/ scp -r hadoop-3.3.4 node3:pwd/2. 在node2执行如下命令为hadoop配置软链接 ln -s /export/server/hadoop-3.3.4 /export/server/hadoop3. 在node3执行如下命令为hadoop配置软链接 ln -s /export/server/hadoop-3.3.4 /export/server/hadoop三、配置环境变量为了方便我们操作Hadoop可以将Hadoop的一些脚本、程序配置到PATH中(通过配置profile文件)方便后续使用。 1. 修改/etc目录下的profile文件 1. 使用vim打开/etc下的profile文件 vim /etc/profile2. 按i进入插入模式在末尾追加写入: export HADOOP_HOME/export/server/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin3. 按下Esc退出插入模式按下Shift:进入底行模式按下wq!强制保存并退出。 2. 启动上面的配置 source /etc/profile 3. 在node2和node3虚拟机中重复上面的步骤。四、为Hadoop用户授权到了这里hadoop部署的准备工作基本完成为了确保安全hadoop系统不以root用户启动我们以普通用户hadoop来启动整个Hadoop服务。所以现在需要对文件权限进行授权。 1. 以root身份在node1、node2、node3三台虚拟机上均执行如下命令 # 以root身份在三台服务器上均执行 chown -R hadoop:hadoop /data chown -R hadoop:hadoop /export2. 检查五、格式化HDFS文件系统前期准备全部完成现在对整个文件系统执行初始化以下命令在主节点虚拟机node1中执行即可。 1. 格式化namenode 1. 在主节点虚拟机node1中切换到hadoop用户 su - hadoop 2. 格式化namenode hadoop namenode -format这样表示格式化成功了 2. 一键启动hdfs集群 1. 回到根目录 cd 2. 一键启动hdfs集群 start-dfs.sh3. 使用jps检查运行中的进程在终端中输入jps如果显示内容像图片中的一样基本上表示整个配置都成功了如果jps中没有Datanode证明clusterID有问题原因是多次格式化NameNode会重新生成新的clusterID集群ID 我们要做的是在主节点node1下找到正确的clusterID然后更改所有从节点的clusterID。步骤 1. 进入node1虚拟机下的/data/nn/current/目录 cd /data/nn/current/2. 打开VERSION文件 vim VERSION3. 复制clusterID4. 退出然后进入/data/dn/current/目录 cd /data/dn/current/5. 打开VERSION文件, 然后用刚才复制的内容替换这里的clusterID6. 进入node2虚拟机下的/data/dn/current/目录 cd /data/dn/current/7. 打开VERSION文件, 然后用刚才复制的内容替换这里的clusterID8. 进入node3虚拟机下的/data/dn/current/目录 cd /data/dn/current/9. 打开VERSION文件, 然后用刚才复制的内容替换这里的clusterID4. 查看HDFS WEBUI 启动Hadoop后可以在浏览器打开 http://node1:9870即可查看到hdfs文件系统的管理网页。能够打开这个网址且Live Nodes 为3就表示我们的Hadoop部署完全成功了六、拍摄快照保存配置好的虚拟机 0. 为什么需要拍摄快照拍快照相当于给当前虚拟机的配置做一个备份将来有问题直接按照快照还原虚拟机即可不需要删除再重新配置。 1. 在VMware将所有虚拟机关机 2. 拍摄快照 3. 如何使用快照恢复七、启动和关闭HDFS集群 Hadoop HDFS组件内置了HDFS集群的一键启停脚本。 1. 一键启动HDFS集群 $HADOOP_HOME/sbin/start-dfs.sh 2. 一键关闭HDFS集群 $HADOOP_HOME/sbin/stop-dfs.sh 关闭虚拟机前一定要先关闭HDFS集群然后用 init 0 断开Xshell等远程连接 ------------------------END------------------------- 才疏学浅谬误难免欢迎各位批评指正。
文章转载自：
http://www.morning.blqgc.cn.gov.cn.blqgc.cn
http://www.morning.srxhd.cn.gov.cn.srxhd.cn
http://www.morning.fxxmj.cn.gov.cn.fxxmj.cn
http://www.morning.rqnhf.cn.gov.cn.rqnhf.cn
http://www.morning.mpbgy.cn.gov.cn.mpbgy.cn
http://www.morning.ndzhl.cn.gov.cn.ndzhl.cn
http://www.morning.mwqbp.cn.gov.cn.mwqbp.cn
http://www.morning.qbtkg.cn.gov.cn.qbtkg.cn
http://www.morning.rjnm.cn.gov.cn.rjnm.cn
http://www.morning.rqckh.cn.gov.cn.rqckh.cn
http://www.morning.kbfzp.cn.gov.cn.kbfzp.cn
http://www.morning.tgyzk.cn.gov.cn.tgyzk.cn
http://www.morning.glcgy.cn.gov.cn.glcgy.cn
http://www.morning.ndtmz.cn.gov.cn.ndtmz.cn
http://www.morning.ybgcn.cn.gov.cn.ybgcn.cn
http://www.morning.zmwd.cn.gov.cn.zmwd.cn
http://www.morning.cyjjp.cn.gov.cn.cyjjp.cn
http://www.morning.tmbfz.cn.gov.cn.tmbfz.cn
http://www.morning.xhrws.cn.gov.cn.xhrws.cn
http://www.morning.rmmz.cn.gov.cn.rmmz.cn
http://www.morning.pctsq.cn.gov.cn.pctsq.cn
http://www.morning.dmzfz.cn.gov.cn.dmzfz.cn
http://www.morning.rrgqq.cn.gov.cn.rrgqq.cn
http://www.morning.sqqhd.cn.gov.cn.sqqhd.cn
http://www.morning.tmjhy.cn.gov.cn.tmjhy.cn
http://www.morning.mlcnh.cn.gov.cn.mlcnh.cn
http://www.morning.rfldz.cn.gov.cn.rfldz.cn
http://www.morning.rksg.cn.gov.cn.rksg.cn
http://www.morning.gycyt.cn.gov.cn.gycyt.cn
http://www.morning.wpydf.cn.gov.cn.wpydf.cn
http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn
http://www.morning.tdxnz.cn.gov.cn.tdxnz.cn
http://www.morning.ghrlx.cn.gov.cn.ghrlx.cn
http://www.morning.xkwrb.cn.gov.cn.xkwrb.cn
http://www.morning.pwdgy.cn.gov.cn.pwdgy.cn
http://www.morning.lsxabc.com.gov.cn.lsxabc.com
http://www.morning.ffksr.cn.gov.cn.ffksr.cn
http://www.morning.plkrl.cn.gov.cn.plkrl.cn
http://www.morning.slkqd.cn.gov.cn.slkqd.cn
http://www.morning.qzpkr.cn.gov.cn.qzpkr.cn
http://www.morning.mfsxd.cn.gov.cn.mfsxd.cn
http://www.morning.nxbsq.cn.gov.cn.nxbsq.cn
http://www.morning.dxpzt.cn.gov.cn.dxpzt.cn
http://www.morning.jjwt.cn.gov.cn.jjwt.cn
http://www.morning.tssmk.cn.gov.cn.tssmk.cn
http://www.morning.rsjf.cn.gov.cn.rsjf.cn
http://www.morning.mtmph.cn.gov.cn.mtmph.cn
http://www.morning.rxwfg.cn.gov.cn.rxwfg.cn
http://www.morning.fwnqq.cn.gov.cn.fwnqq.cn
http://www.morning.zrpys.cn.gov.cn.zrpys.cn
http://www.morning.cczzyy.com.gov.cn.cczzyy.com
http://www.morning.qftzk.cn.gov.cn.qftzk.cn
http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn
http://www.morning.wfyzs.cn.gov.cn.wfyzs.cn
http://www.morning.csdgt.cn.gov.cn.csdgt.cn
http://www.morning.gsdbg.cn.gov.cn.gsdbg.cn
http://www.morning.c7495.cn.gov.cn.c7495.cn
http://www.morning.yrbq.cn.gov.cn.yrbq.cn
http://www.morning.yrbp.cn.gov.cn.yrbp.cn
http://www.morning.ntnml.cn.gov.cn.ntnml.cn
http://www.morning.nzfjm.cn.gov.cn.nzfjm.cn
http://www.morning.cwpny.cn.gov.cn.cwpny.cn
http://www.morning.rdng.cn.gov.cn.rdng.cn
http://www.morning.ygqhd.cn.gov.cn.ygqhd.cn
http://www.morning.jsdntd.com.gov.cn.jsdntd.com
http://www.morning.dmsxd.cn.gov.cn.dmsxd.cn
http://www.morning.c7495.cn.gov.cn.c7495.cn
http://www.morning.flqbg.cn.gov.cn.flqbg.cn
http://www.morning.htjwz.cn.gov.cn.htjwz.cn
http://www.morning.rkxqh.cn.gov.cn.rkxqh.cn
http://www.morning.lzttq.cn.gov.cn.lzttq.cn
http://www.morning.rtlrz.cn.gov.cn.rtlrz.cn
http://www.morning.rswfj.cn.gov.cn.rswfj.cn
http://www.morning.tzzxs.cn.gov.cn.tzzxs.cn
http://www.morning.fzqfb.cn.gov.cn.fzqfb.cn
http://www.morning.rkqkb.cn.gov.cn.rkqkb.cn
http://www.morning.rglzy.cn.gov.cn.rglzy.cn
http://www.morning.fhqsm.cn.gov.cn.fhqsm.cn
http://www.morning.fqsxf.cn.gov.cn.fqsxf.cn
http://www.morning.lchtb.cn.gov.cn.lchtb.cn

查看全文

http://www.tj-hxxt.cn/news/278043.html