当前位置：首页 > news >正文

哪家公司搭建网站html5 单页网站

news 2025/10/31 4:02:05

哪家公司搭建网站,html5 单页网站,做简单网站需要学什么,东莞互联网营销网站建设CDH安装与配置及相关大数据组件实践一、CDH 介绍 CDH#xff08;Cloudera’s Distribution Including Apache Hadoop#xff09;是一个基于 Web 用户界面的大数据平台版本。它支持大多数 Hadoop 组件#xff0c;包括 HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoo…CDH安装与配置及相关大数据组件实践一、CDH 介绍 CDHCloudera’s Distribution Including Apache Hadoop是一个基于 Web 用户界面的大数据平台版本。它支持大多数 Hadoop 组件包括 HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop 等。其优点是大大简化了大数据平台的安装过程使用起来也较为简单。二、Cloudera Manager 的功能管理可以对集群进行管理操作例如添加、删除节点等。监控全面监控集群的健康情况包括各种设置的指标和系统运行状况。诊断当集群出现问题时能够对问题进行诊断并给出相应的建议解决方案。集成将多个组件进行整合。三、国内大数据开发环境平台方案对比手动安装各个软件如学习时的方式hadoop 开源免费问题安装过程繁琐存在版本差异问题并且缺少集群软、硬件监控功能。使用 CDH、HDP、星环等大数据平台优势能够快速搭建软件环境。劣势收费。使用阿里云dataworks / e - mapreduce、华为云、腾讯云、亚马逊云等云平台四、CDH 安装步骤一安装依赖包 yum install -y cyrus - sasl - plain cyrus - sasl - gssapi portmap fuse - libs bind - utils libxslt fuse yum install -y /lib/lsb/init - functions createrepo deltarpm python - deltarpm yum install -y mod_ssl openssl - devel python - psycopg2 MySQL - python二安装 httpd仅在部署本地 yum 源的机器上安装 yum install httpd yum install createrepo三修改主机名配置 hosts 修改主机名 hostnamectl set - hostname hadoop01配置 hosts 文件 vi /etc/hosts 172.16.35.101 hadoop01四关闭防火墙和配置免密登录关闭防火墙查看防火墙状态 systemctl status firewalld.service- 执行关闭命令systemctl stop firewalld.service- 再次查看防火墙状态systemctl status firewalld.service- 执行开机禁用防火墙自启命令systemctl disable firewalld.service配置免密登录 ssh - keygen ssh - copy - id hadoop01五关闭 selinux在配置文件中第一次设置时需重启服务器 setenforce 0 vim /etc/selinux/config 将 SELINUXenforcing 改为 SELINUXdisabled六安装 httpd 服务、启动 httpd 服务 systemctl start httpd.service cd /var/www/html/ mkdir - p cm6/6.2.1/redhat7/yum/RPMS/x86_64/ #上传 cm6 中的文件到/var/www/html/cm6/6.2.1/redhat7/yum/RPMS/x86_64 目录 #上传 allkeys.asc 文件到/var/www/html/cm6/6.2.1/目录下cd /var/www/html/ mkdir - p cdh6/6.2.1/parcels/ #上传 cdh6 中的文件到此目录 /var/www/html/cdh6/6.2.1/parcels/#在 windows 系统访问测试http://hadoop01/cm6/6.2.1/redhat7/yum/RPMS/x86_64/#配置 windows 系统的本地 hosts C:\Windows\System32\drivers\etc#CDH 伪分布式 172.16.35.101 hadoop01七生成 repodata 目录 cd /var/www/html/cm6/6.2.1/redhat7/yum createrepo.八配置本地 yum 源 cd /etc/yum.repos.d/ vi cloudera - manager.repo [cloudera - manager] nameCloudera Manager baseurlhttp://hadoop01/cm6/6.2.1/redhat7/yum/ gpgcheck0 enabled1yum clean all yum list | grep cloudera九创建 cloudera - scm 用户 #创建一个用户名用户名是 cloudera - scm useradd cloudera - scm #给 cloudera - scm 用户添加一个密码 passwd cloudera - scm #输入的密码 test123456#免密钥登录 echo cloudera - scm ALL(root)NOPASSWD:ALL /etc/sudoers su - cloudera - scm exit十安装 mysql 服务略十一创建数据库作为 CDH 的元数据库登录 mysql 数据库执行以下命令 create database scm DEFAULT CHARACTER SET utf8; grant all PRIVILEGES on *.* TO root% IDENTIFIED BY 123456 WITH GRANT OPTION; grant all PRIVILEGES on *.* TO rootlocalhost IDENTIFIED BY 123456 WITH GRANT OPTION; grant all PRIVILEGES on *.* TO roothadoop01 IDENTIFIED BY 123456 WITH GRANT OPTION; flush privileges;十二安装 Server 服务 yum install -y oracle - j2sdk1.8 - 1.8.0update181 - 1.x86_64 yum install -y enterprise - debuginfo - 6.2.1 - 1426065.el7.x86_64 yum install -y cloudera - manager - server - 6.2.1 - 1426065.el7.x86_64 yum install -y cloudera - manager - server - db - 2 - 6.2.1 - 1426065.el7.x86_64注意事项如果在 yum 源中添加了新的包需要删除之前的 repodata 文件后重新生成。重启 httpd 服务。清除 yum 缓存 yum clean all。如果是集群3 个节点都要执行yum install -y oracle - j2sdk1.8 - 1.8.0update181 - 1.x86_64 配置 JDK 的环境变量 # yum install -y oracle - j2sdk1.8 - 1.8.0update181 - 1.x86_64 # 上述命令可以安装 JDK 修改/etc/profile 增加下面的内容 JAVA_HOME/usr/java/jdk1.8.0_181 - cloudera/ PATH$PATH:$JAVA_HOME/bin十三设置元数据库为 mysql 需要上传 mysql 驱动包mysql - connector - java - 8.0.26.jarjar 到/opt/cloudera/cm/lib 目录下。设置元数据库为 mysql前提是安装 ClouderaManager Server 服务 /opt/cloudera/cm/schema/scm_prepare_database.sh - h localhost mysql scm root 123456 查看cat /etc/cloudera - scm - server/db.properties十四启动 server 服务进程查看 7180 端口 systemctl start cloudera - scm - server 查看启动日志 tail - f /var/log/cloudera - scm - server/cloudera - scm - server.log 查看启动状态 systemctl status cloudera - scm - server 查看端口 yum install net - tools netstat - an | grep 7180十五配置本地 parcel 包注意必须要在数据库初始化后将 parcel 文件放置到/opt/cloudera/parcel - repo 目录中。上传 cdh6 的 parcel 等文件到/opt/cloudera/parcel - repo mv /var/www/html/cdh6/6.2.1/parcels/* /opt/cloudera/parcel - repo 重命名密钥文件名 cd /opt/cloudera/parcel - repo/ mv CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774 - el7.parcel.sha1 CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774 - el7.parcel.sha十六开始安装访问 Serverhttp://hadoop01:7180/cmf/login账号密码均为 admin。十七swappiness 和透明化临时生效 sysctl - w vm.swappiness10 echo never /sys/kernel/mm/transparent_hugepage/defrag echo never /sys/kernel/mm/transparent_hugepage/enabled永久生效 echo vm.swappiness10 /etc/sysctl.conf echo echo never /sys/kernel/mm/transparent_hugepage/defrag /etc/rc.local echo echo never /sys/kernel/mm/transparent_hugepage/enabled /etc/rc.local五、CM 的图形化安装一登录后首先要做的工作设置 Parcel 更新频率为 1 分钟。登录后在新的页面中点击小包裹再点击配置将更新频率设置为一分钟。二进行新建集群的操作在跳转的欢迎界面点击继续接收协议选择免费社区版。指定软件包的位置http://hadoop01/cm6/6.2.1 和 http://hadoop01/cdh6/6.2.1/parcels/。如果中途出现问题如安装一半内存不足报错再次安装时需要删除安装锁 rm - rf /tmp/scm_prepare_node.* rm - rf /tmp/.scm_prepare_node.lock等待安装后选择要安装的套餐。三新服务的安装 zookeeper 的安装在服务的选择页面中选择 zookeeper然后在安装页面中直接点击【继续】按钮。安装好之后如果要在服务器中测试 zookeeper 的运行情况可以通过以下方式访问 zk 的客户端 [roothadoop01 ~]# find / - name zkCli.sh find: ‘/proc/87190’: 没有那个文件或目录 /opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774/lib/zookeeper/bin/zkCli.sh [roothadoop01 ~]# /opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774/lib/zookeeper/bin/zkCli.shHDFS 将 HDFS 配置项 dfs.permissions 改为 false否则会因权限问题不能在 hdfs 中创建目录和文件。将 dfs.replication 设置为 1因为安装的伪分布式所以副本个数设置为 1。关闭 safemode 模型 [roothadoop01 ~]# hdfs dfsadmin - safemode get Safe mode is OFF [roothadoop01 ~]# hdfs dfsadmin - safemode leave Safe mode is OFF- 测试 HDFShdfs dfs - mkdir /testyarn 的安装与 zk 一样选择 yarn 安装然后点击【继续】。yarn 安装之后需要设置参数 yarn.nodemanager.resource.memory - mb 4G yarn.scheduler.maximum - allocation - mb 2G测验 yarn 的安装情况 - 通过官方例子来处理先查找 hdfs - site.xml 文件位置 find / - name hdfs - site.xml #大致的位置 /opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774/etc/hadoop/conf.pseudo/hdfs - site.xml /opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774/etc/hadoop/conf.impala/hdfs - site.xml /opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774/etc/hadoop/conf.empty/hdfs - site.xml- 取上述目录中的主目录cd /opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774/- 官方例子在以下目录/opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774/jars hadoop - mapreduce - examples - 3.0.0 - cdh6.2.1.jar- 测试步骤创建测试文件 vim testinput.txt I love BeiJing I love China Beijing is the capital of China创建 HDFS 目录并上传文件 hadoop fs - ls / hadoop fs - mkdir /input hadoop fs - put testinput.txt /input运行 wordcount yarn jar /opt/cloudera/parcels/CDH/jars/hadoop - mapreduce - examples - 3.0.0 - cdh6.2.1.jar wordcount /input /output hadoop fs - ls /output //完成后查看输出目录 hadoop fs - cat /output/part - r - 00000 //查看输出结果hive 的安装创建数据库 mysql - uroot - p create database hive;- 需要上传 mysql 驱动包 jar 到/opt/cloudera/cm/lib 目录下之前已传过则不用传并复制到 hive 相关目录cp /opt/cloudera/cm/lib/mysql - connector - java - 8.0.26.jar /opt/cloudera/parcels/CDH/lib/hive/lib/如果忘记导入导入驱动包之后点击 Resume 重新安装。如果出现错误Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set则需要变更 hive 的配置 cd /etc/hive/conf vim hadoop - env.sh # 添加以下内容 export HADOOP_HOME/opt/cloudera/parcels/CDH - 6.2.1 - 1.cdh6.2.1.p0.1425774 source hadoop - env.sh可以使用 Datagrip 或者 Dbeaver 连接 hive。 5. sqoop - 创建数据库和表 mysql - uroot - p create database test1; create table t_user (id bigint auto_increment,name varchar(127) not null,age bigint null,class varchar(255) null,primary key (id) );创建测试文件 vim text.txt leo|12|class1 leo1|13|class2 leo2|14|class3 leo3|15|class4 leo4|16|class5 leo5|17|class6复制 mysql 驱动包到 sqoop 相关目录 cp /opt/cloudera/cm/lib/mysql - connector - java - 5.1.40.jar /opt/cloudera/parcels/CDH/lib/sqoop/lib/执行数据导出操作 sqoop export \ --connect jdbc:mysql://hadoop01:3306/test1 \ --username root \ --password 123456 \ --table t_user \ --columns name,age,class \ --export - dir /data \ --input - fields - terminated - by | \ --num - mappers 1
文章转载自：
http://www.morning.tytly.cn.gov.cn.tytly.cn
http://www.morning.mcmpq.cn.gov.cn.mcmpq.cn
http://www.morning.bmtyn.cn.gov.cn.bmtyn.cn
http://www.morning.tqrbl.cn.gov.cn.tqrbl.cn
http://www.morning.yrjkz.cn.gov.cn.yrjkz.cn
http://www.morning.mbbgk.com.gov.cn.mbbgk.com
http://www.morning.sxcwc.cn.gov.cn.sxcwc.cn
http://www.morning.rqhdt.cn.gov.cn.rqhdt.cn
http://www.morning.sftpg.cn.gov.cn.sftpg.cn
http://www.morning.xhlpn.cn.gov.cn.xhlpn.cn
http://www.morning.fdmtr.cn.gov.cn.fdmtr.cn
http://www.morning.shuanga.com.cn.gov.cn.shuanga.com.cn
http://www.morning.bdkhl.cn.gov.cn.bdkhl.cn
http://www.morning.wkmyt.cn.gov.cn.wkmyt.cn
http://www.morning.xwnnp.cn.gov.cn.xwnnp.cn
http://www.morning.xldpm.cn.gov.cn.xldpm.cn
http://www.morning.jlktz.cn.gov.cn.jlktz.cn
http://www.morning.spqtq.cn.gov.cn.spqtq.cn
http://www.morning.zqcsj.cn.gov.cn.zqcsj.cn
http://www.morning.prprz.cn.gov.cn.prprz.cn
http://www.morning.bpmnc.cn.gov.cn.bpmnc.cn
http://www.morning.mxhys.cn.gov.cn.mxhys.cn
http://www.morning.psxwc.cn.gov.cn.psxwc.cn
http://www.morning.dnhdp.cn.gov.cn.dnhdp.cn
http://www.morning.pqhfx.cn.gov.cn.pqhfx.cn
http://www.morning.dhnqt.cn.gov.cn.dhnqt.cn
http://www.morning.pqqzd.cn.gov.cn.pqqzd.cn
http://www.morning.rpfpx.cn.gov.cn.rpfpx.cn
http://www.morning.wslr.cn.gov.cn.wslr.cn
http://www.morning.gsdbg.cn.gov.cn.gsdbg.cn
http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn
http://www.morning.qjxkx.cn.gov.cn.qjxkx.cn
http://www.morning.sqgsx.cn.gov.cn.sqgsx.cn
http://www.morning.njfgl.cn.gov.cn.njfgl.cn
http://www.morning.gygfx.cn.gov.cn.gygfx.cn
http://www.morning.rmmz.cn.gov.cn.rmmz.cn
http://www.morning.ymwcs.cn.gov.cn.ymwcs.cn
http://www.morning.qcwck.cn.gov.cn.qcwck.cn
http://www.morning.qtzqk.cn.gov.cn.qtzqk.cn
http://www.morning.bpmfr.cn.gov.cn.bpmfr.cn
http://www.morning.yybcx.cn.gov.cn.yybcx.cn
http://www.morning.fglyb.cn.gov.cn.fglyb.cn
http://www.morning.lfcfn.cn.gov.cn.lfcfn.cn
http://www.morning.cldgh.cn.gov.cn.cldgh.cn
http://www.morning.fnfxp.cn.gov.cn.fnfxp.cn
http://www.morning.qswws.cn.gov.cn.qswws.cn
http://www.morning.synkr.cn.gov.cn.synkr.cn
http://www.morning.wctqc.cn.gov.cn.wctqc.cn
http://www.morning.bmjfp.cn.gov.cn.bmjfp.cn
http://www.morning.pkrtz.cn.gov.cn.pkrtz.cn
http://www.morning.gcthj.cn.gov.cn.gcthj.cn
http://www.morning.ljdtn.cn.gov.cn.ljdtn.cn
http://www.morning.dfckx.cn.gov.cn.dfckx.cn
http://www.morning.mzcrs.cn.gov.cn.mzcrs.cn
http://www.morning.mszwg.cn.gov.cn.mszwg.cn
http://www.morning.fxygn.cn.gov.cn.fxygn.cn
http://www.morning.drqrl.cn.gov.cn.drqrl.cn
http://www.morning.pjqxk.cn.gov.cn.pjqxk.cn
http://www.morning.drswd.cn.gov.cn.drswd.cn
http://www.morning.ryxbz.cn.gov.cn.ryxbz.cn
http://www.morning.ldspj.cn.gov.cn.ldspj.cn
http://www.morning.qjxkx.cn.gov.cn.qjxkx.cn
http://www.morning.ryysc.cn.gov.cn.ryysc.cn
http://www.morning.tfrlj.cn.gov.cn.tfrlj.cn
http://www.morning.bqts.cn.gov.cn.bqts.cn
http://www.morning.zbgqt.cn.gov.cn.zbgqt.cn
http://www.morning.qtryb.cn.gov.cn.qtryb.cn
http://www.morning.qrnbs.cn.gov.cn.qrnbs.cn
http://www.morning.hxxwq.cn.gov.cn.hxxwq.cn
http://www.morning.dfckx.cn.gov.cn.dfckx.cn
http://www.morning.cywf.cn.gov.cn.cywf.cn
http://www.morning.qfkxj.cn.gov.cn.qfkxj.cn
http://www.morning.bxch.cn.gov.cn.bxch.cn
http://www.morning.hyyxsc.cn.gov.cn.hyyxsc.cn
http://www.morning.dwhnb.cn.gov.cn.dwhnb.cn
http://www.morning.zxrtt.cn.gov.cn.zxrtt.cn
http://www.morning.gfkb.cn.gov.cn.gfkb.cn
http://www.morning.qpfmh.cn.gov.cn.qpfmh.cn
http://www.morning.kvzvoew.cn.gov.cn.kvzvoew.cn
http://www.morning.tmnyj.cn.gov.cn.tmnyj.cn

查看全文

http://www.tj-hxxt.cn/news/264174.html