当前位置：首页 > news >正文

找公司做网站需要注意冷水滩城乡建设局网站

news 2025/10/21 6:37:53

找公司做网站需要注意,冷水滩城乡建设局网站,临海市住房和城乡建设规划局网站,金华做网站的公司大数据研发工程师课前环境搭建第一章 VMware Workstation 安装在Windows的合适的目录来进行安装#xff0c;如下图 1.1 双击打开 1.2 下一步#xff0c;接受协议 1.3 选择安装位置 1.4 用户体验设置 1.5 快捷方式已经准备好安装#xff0c;点击安装 1.6 安装中 1.7 安装…大数据研发工程师课前环境搭建第一章 VMware Workstation 安装在Windows的合适的目录来进行安装如下图 1.1 双击打开 1.2 下一步接受协议 1.3 选择安装位置 1.4 用户体验设置 1.5 快捷方式已经准备好安装点击安装 1.6 安装中 1.7 安装完成 1.8 启动界面注意需要注册的时候自己解决。第二章安装CentOS7操作系统 2.1 点击新建虚拟机选择自定义安装 2.2 选择虚拟机硬件兼容性默认即可 2.3 选择安装的操作系统位置 2.4 创建用户和密码 2.5 命名虚拟机并选择安装位置 2.6 处理器配置根据自己的电脑的设置配置即可后期可更改。 2.7 设置内存根据自己的机器配置设置即可 2.8 设置网络类型选择NAT即可 2.9 选择I/O控制器类型默认即可 2.10 选择磁盘类型默认即可 2.11 选择使用的磁盘 2.12 指定磁盘大小尽量设置大一些50gb往上。 2.13 指定磁盘文件默认即可 2.14 已准备好创建虚拟机确认页面 2.15 点击完成进行安装然后等待漫长的安装过程即可。根据机器性能差异安装时间在10-30分钟之间。 2.16 在安装过程中进行相关内容的设置设置界面 2.17 设置时区 2.18 选择安装的内容选择GUI对初学者比较友好。 2.19 设置网络 2.20 设置之后的页面 2.21 继续安装页面第三章安装XShell和Xftp 首先准备软件 3.1 安装XShell 3.1.1 双击打开 3.1.2 点击接受协议 3.1.3 选择安装位置选择自己的合适的目录即可 3.1.4 点击下一步之后点击安装 3.1.5 安装过程 3.1.6 安装完成 3.1.7 点击完成查看成功界面 3.2 安装Xftp 3.2.1 双击打开 3.2.2 点击接受协议 3.2.3 选择安装位置 3.2.4 点击下一步之后点击安装 3.2.5 安装过程 3.2.6 安装完成 3.2.7 点击完成查看成功界面 3.3 通过XShell连接虚拟机 3.3.1 在文件中点击新建 3.3.2 输入相应的信息 3.3.3 一些小操作注意连接之前需要给虚拟机防火墙关闭 CentOS7查看防火墙状态 systemctl status firewalld.service 关闭防火墙 systemctl stop firewalld.service 永久关闭重启也没有用 systemctl enable firewalld.service 关闭selinux参考其实不关闭也不影响临时关闭 [rootlocalhost ~]# setenforce 0 查看selinux状态 [rootlocalhost ~]# sestatus 永久关闭可以修改配置文件/etc/selinux/config,将其中SELINUX设置为disabled。 [rootlocalhost ~]# vim /etc/selinux/config 注意子网掩码的设置第四章分布式集群安装前序准备 4.1 配置网络网络配置修改成Manual手动的并填写相应的ip地址 4.2 hostname查看并修改 CentOS6.x vi /etc/sysconfig/network CentOS7.4 vi /etc/hostname 修改主机名修改之后要重启才能生效。 4.3 修改 /etc/hosts 修改hosts文件 vi /etc/hosts 192.168.22.136 hadoop10 192.168.22.137 hadoop11 192.168.22.138 hadoop12 示例如下 4.4 防火墙策略在虚拟机测试关闭即可阿里云主机上面需要配置策略 systemctl status firewalld.service systemctl stop firewalld.service 只使用前面两行重启之后防火墙就开启了。 systemctl disable firewalld.service 永久关闭重启也不行 4.5 SSH相互免密码登录先在hadoop0上面执行。 cd ~ 也就是进入/root目录 ssh-keygen -t dsa cd /root/.ssh/ cat id_dsa.pub authorized_keys 上面四步骤需要在三台虚机上做同样的操作 cat authorized_keys查看秘钥若是有原来有秘钥先删除 rm -rf * ssh-copy-id -i /root/.ssh/id_dsa.pub hadoop2在hadoop0上执行上面一句将hadoop0上面的秘钥拷贝到hadoop2上然后再hadoop1上面再次执行上面一句将hadoop1上面的秘钥拷贝到hadoop2上scp /root/.ssh/authorized_keys hadoop0:/root/.ssh/在hadoop2上面执行上面一句将hadoop2上面的秘钥拷贝到hadoop0 上scp /root/.ssh/authorized_keys hadoop1:/root/.ssh/在hadoop2上面执行上面一句将hadoop2上面的秘钥拷贝到hadoop1 上第五章 JDK安装 5.1 准备环境并上传软件 1、安装之前先查看一下有无系统自带jdk rpm -qa |grep java rpm -e --nodeps 软件名字 [roothadoop0 /]# rpm -qa |grep java tzdata-java-2020a-1.el7.noarch java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 javapackages-tools-3.4.1-11.el7.noarch java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64 python-javapackages-3.4.1-11.el7.noarch [roothadoop0 /]# rpm -e --nodeps tzdata-java-2020a-1.el7.noarch [roothadoop0 /]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 [roothadoop0 /]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 [roothadoop0 /]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch [roothadoop0 /]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 [roothadoop0 /]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64 [roothadoop0 /]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch [roothadoop0 /]# rpm -qa |grep java 使用下面的语句可以快捷删除完 rpm -qa |grep java rpm -e --nodeps tzdata-java-2020a-1.el7.noarch rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64 rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch rpm -qa |grep java 实际配置的内容 [roothadoop10 ~]# rpm -qa |grep java tzdata-java-2020a-1.el7.noarch python-javapackages-3.4.1-11.el7.noarch java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 javapackages-tools-3.4.1-11.el7.noarch [roothadoop10 ~]# rpm -e --nodeps tzdata-java-2020a-1.el7.noarch [roothadoop10 ~]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch [roothadoop10 ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 [roothadoop10 ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 [roothadoop10 ~]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch [roothadoop10 ~]# rpm -qa |grep java [roothadoop10 ~]# 为了方便整理一下 rpm -qa |grep java rpm -e --nodeps tzdata-java-2020a-1.el7.noarch rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch rpm -qa |grep java 2、在根目录下面创建software文件夹然后将文件上传到此文件夹下面将所有的文件的安装都放到这个文件夹下面方便统一管理。 5.2 上传解压重命名文件上传到software文件夹下面 tar -zxvf jdk-8u202-linux-x64.tar.gz mv jdk1.8.0_202/ jdk 重命名 5.3 修改配置修改之前最好先备份一下配置文件 vi /etc/profile export JAVA_HOME/software/jdk export PATH.:$PATH:$JAVA_HOME/bin source /etc/profile java java -version javac 同理在其他节点上一样安装即可。第六章 Hadoop安装先在一台机器上面安装然后复制到其他的机器上面即可。 6.1 在节点1上面上传解压重命名 tar -zxvf hadoop-3.3.1.tar.gz mv hadoop-3.3.1 hadoop 3.2 添加环境变量 vi /etc/profile export JAVA_HOME/software/jdk export HADOOP_HOME/software/hadoop export PATH.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 线上实际配置 export JAVA_HOME/software/jdk export PATH.:$PATH:$JAVA_HOME/bin export HADOOP_HOME/software/hadoop export PATH.:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 6.3 修改配置文件在hadoop0上修改Hadoop的配置文件 cd hadoop/etc/hadoop 6.3.1 在一个节点上配置 1配置hadoop-env.sh vi hadoop-env.sh export JAVA_HOME/software/jdk 2配置hdfs-site.xml property namedfs.datanode.data.dir/name valuefile:///software/hadoop/data/datanode/value /property property namedfs.namenode.name.dir/name valuefile:///software/hadoop/data/namenode/value /property property namedfs.namenode.http-address/name valuehadoop0:50070/value /property property namedfs.namenode.secondary.http-address/name valuehadoop1:50090/value /property property namedfs.replication/name value1/value /property 3配置yarn-site.xml 先使用默认的即可 4配置core-site.xml property namefs.defaultFS/name valuehdfs://hadoop0//value /property 注意端口可以不指定默认是8020也可以指定valuehdfs://hadoop0:9000//value 5配置workers hadoop1 hadoop2 6.3.2 将hadoop0上的配置拷贝到其他节点上拷贝hadoop0上的配置到hadoop1和hadoop2上面 1拷背hadoop配置 scp -r /software/hadoop hadoop1:/software/ scp -r /software/hadoop hadoop2:/software/ 2拷贝 scp /etc/profile hadoop11:/etc/ scp /etc/profile hadoop12:/etc/ source /etc/profile 3或者手动配置 export HADOOP_HOME/software/hadoop export PATH.:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 3.4 启动/停止Hadoop集群 3.4.1 格式化文件系统 hdfs namenode -format 执行上面的命令后,在后面的提示中如果看到successfully formatted的字样,说明hdfs格式化成功! 3.4.2 第一次启动时候遇到的问题 start-all.sh或者start-dfs.sh 和 start-yarn.sh来启动出现问题如下解决方案 cd /software/hadoop/etc/hadoop 修改hadoop-env.sh。只需要在主节点上面配置一些即可因为只在主节点上启动在最上面添加如下内容 export HDFS_NAMENODE_USERroot export HDFS_DATANODE_USERroot export HDFS_SECONDARYNAMENODE_USERroot export YARN_RESOURCEMANAGER_USERroot export YARN_NODEMANAGER_USERroot 配置结果如下 3.4.3 正确启动关闭查看进程 [roothadoop0 hadoop]# jps 5538 Jps 5196 ResourceManager 4733 NameNode [roothadoop1 hadoop]# jps 3681 SecondaryNameNode 3860 Jps 3770 NodeManager 3567 DataNode [roothadoop2 software]# jps 51234 DataNode 51362 NodeManager 51452 Jps 3.4.4 查看页面 3.4.5 在页面创建文件夹时候出现的问题问题如下 Permission denied: userdr.who, accessWRITE, inode/:root:supergroup:drwxr-xr-x 解决方案配置权限 [roothadoop0 hadoop]# hadoop fs -chmod -R 777 / 修改之后创建文件夹以及上传文件都正常了
文章转载自：
http://www.morning.kksjr.cn.gov.cn.kksjr.cn
http://www.morning.jbfzx.cn.gov.cn.jbfzx.cn
http://www.morning.tcpnp.cn.gov.cn.tcpnp.cn
http://www.morning.lfmwt.cn.gov.cn.lfmwt.cn
http://www.morning.qcdhg.cn.gov.cn.qcdhg.cn
http://www.morning.rckmz.cn.gov.cn.rckmz.cn
http://www.morning.ylkkh.cn.gov.cn.ylkkh.cn
http://www.morning.bqrd.cn.gov.cn.bqrd.cn
http://www.morning.ktrdc.cn.gov.cn.ktrdc.cn
http://www.morning.bqyb.cn.gov.cn.bqyb.cn
http://www.morning.rzczl.cn.gov.cn.rzczl.cn
http://www.morning.ltfnl.cn.gov.cn.ltfnl.cn
http://www.morning.zxgzp.cn.gov.cn.zxgzp.cn
http://www.morning.lphtm.cn.gov.cn.lphtm.cn
http://www.morning.cmldr.cn.gov.cn.cmldr.cn
http://www.morning.sgbsr.cn.gov.cn.sgbsr.cn
http://www.morning.qytyt.cn.gov.cn.qytyt.cn
http://www.morning.nynyj.cn.gov.cn.nynyj.cn
http://www.morning.krwzy.cn.gov.cn.krwzy.cn
http://www.morning.tqfnf.cn.gov.cn.tqfnf.cn
http://www.morning.drwpn.cn.gov.cn.drwpn.cn
http://www.morning.rkmhp.cn.gov.cn.rkmhp.cn
http://www.morning.jwefry.cn.gov.cn.jwefry.cn
http://www.morning.shnqh.cn.gov.cn.shnqh.cn
http://www.morning.cndxl.cn.gov.cn.cndxl.cn
http://www.morning.mlfmj.cn.gov.cn.mlfmj.cn
http://www.morning.sqqds.cn.gov.cn.sqqds.cn
http://www.morning.nkkpp.cn.gov.cn.nkkpp.cn
http://www.morning.jkrrg.cn.gov.cn.jkrrg.cn
http://www.morning.ybgt.cn.gov.cn.ybgt.cn
http://www.morning.gqcd.cn.gov.cn.gqcd.cn
http://www.morning.rjjjk.cn.gov.cn.rjjjk.cn
http://www.morning.bftqc.cn.gov.cn.bftqc.cn
http://www.morning.kehejia.com.gov.cn.kehejia.com
http://www.morning.yjxfj.cn.gov.cn.yjxfj.cn
http://www.morning.rkmsm.cn.gov.cn.rkmsm.cn
http://www.morning.lmrcq.cn.gov.cn.lmrcq.cn
http://www.morning.brbmf.cn.gov.cn.brbmf.cn
http://www.morning.frcxx.cn.gov.cn.frcxx.cn
http://www.morning.zpdjh.cn.gov.cn.zpdjh.cn
http://www.morning.bxqpl.cn.gov.cn.bxqpl.cn
http://www.morning.lbcfj.cn.gov.cn.lbcfj.cn
http://www.morning.mfcbk.cn.gov.cn.mfcbk.cn
http://www.morning.rmfh.cn.gov.cn.rmfh.cn
http://www.morning.cflxx.cn.gov.cn.cflxx.cn
http://www.morning.pgkpt.cn.gov.cn.pgkpt.cn
http://www.morning.jbmbj.cn.gov.cn.jbmbj.cn
http://www.morning.zglrl.cn.gov.cn.zglrl.cn
http://www.morning.lpbrp.cn.gov.cn.lpbrp.cn
http://www.morning.bnjnp.cn.gov.cn.bnjnp.cn
http://www.morning.wljzr.cn.gov.cn.wljzr.cn
http://www.morning.prhqn.cn.gov.cn.prhqn.cn
http://www.morning.hdrrk.cn.gov.cn.hdrrk.cn
http://www.morning.gsdbg.cn.gov.cn.gsdbg.cn
http://www.morning.jbxmb.cn.gov.cn.jbxmb.cn
http://www.morning.cklld.cn.gov.cn.cklld.cn
http://www.morning.srjbs.cn.gov.cn.srjbs.cn
http://www.morning.ltqzq.cn.gov.cn.ltqzq.cn
http://www.morning.yrmgh.cn.gov.cn.yrmgh.cn
http://www.morning.drqrl.cn.gov.cn.drqrl.cn
http://www.morning.qqxmj.cn.gov.cn.qqxmj.cn
http://www.morning.mbpzw.cn.gov.cn.mbpzw.cn
http://www.morning.gqbtw.cn.gov.cn.gqbtw.cn
http://www.morning.cgtfl.cn.gov.cn.cgtfl.cn
http://www.morning.fkmyq.cn.gov.cn.fkmyq.cn
http://www.morning.mfjfh.cn.gov.cn.mfjfh.cn
http://www.morning.ktfnj.cn.gov.cn.ktfnj.cn
http://www.morning.gqfks.cn.gov.cn.gqfks.cn
http://www.morning.kngqd.cn.gov.cn.kngqd.cn
http://www.morning.wmdqc.com.gov.cn.wmdqc.com
http://www.morning.tqsmg.cn.gov.cn.tqsmg.cn
http://www.morning.rzcbk.cn.gov.cn.rzcbk.cn
http://www.morning.bxqpl.cn.gov.cn.bxqpl.cn
http://www.morning.gkjnz.cn.gov.cn.gkjnz.cn
http://www.morning.dhtdl.cn.gov.cn.dhtdl.cn
http://www.morning.ngqdp.cn.gov.cn.ngqdp.cn
http://www.morning.tktcr.cn.gov.cn.tktcr.cn
http://www.morning.tpbhf.cn.gov.cn.tpbhf.cn
http://www.morning.pyxwn.cn.gov.cn.pyxwn.cn
http://www.morning.wpcfh.cn.gov.cn.wpcfh.cn

查看全文

http://www.tj-hxxt.cn/news/236142.html