当前位置： 首页 > news >正文 电子商务网站建设包括哪些内容能免费做网站 news 2025/10/20 19:56:27 电子商务网站建设包括哪些内容,能免费做网站,苏州公司网站制作公司,浚县网站建设一、RDD持久化 1、不采用持久化操作 查看要操作的HDFS文件 以集群模式启动Spark Shell 按照图示进行操作#xff0c;得RDD4和RDD5 查看RDD4内容#xff0c;会从RDD1到RDD2到RDD3到RDD4跑一趟 显示RDD5内容#xff0c;也会从RDD1到RDD2到RDD3到RDD5跑一趟 2、采用持久化…一、RDD持久化 1、不采用持久化操作 查看要操作的HDFS文件 以集群模式启动Spark Shell 按照图示进行操作得RDD4和RDD5 查看RDD4内容会从RDD1到RDD2到RDD3到RDD4跑一趟 显示RDD5内容也会从RDD1到RDD2到RDD3到RDD5跑一趟 2、采用持久化操作 计算RDD4就是基于RDD3缓存的数据开始计算不用从头到尾跑一趟 计算RDD5就是基于RDD3缓存的数据开始计算不用从头到尾跑一趟 二、存储级别 案例演示设置存储级别 package net.cxf.rdd.day05import org.apache.log4j.{Level, Logger} import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, SparkContext}import java.awt.SystemTray/*** 功能* 作者cxf* 日期2023年05月06日*/ object SetStorageLevel {def main(args: Array[String]): Unit {//创建Spark配置对象val conf new SparkConf().setAppName(SetStorageLevel) //设置应用名称.setMaster(local[*]) //设置主节点位置本地调试// 基于Spark配置对象创建Spark容器val sc new SparkContext(conf)//去除Spark运行信息Logger.getLogger(org).setLevel(Level.OFF)Logger.getLogger(com).setLevel(Level.OFF)System.setProperty(spark.ui.showConsoleProgress, false)Logger.getRootLogger().setLevel(Level.OFF)//创建RDDval rdd sc.textFile(hdfs://master:9000/park/words.txt)//将rdd标记为持久化采用默认存储级别- StorageLevel.MEMORY_ONLYrdd.persist() //无参持久化方法//对rdd做扁平映射,得到rdd1val rdd1 rdd.flatMap(_.split( ))//将rdd1持久化都磁盘rdd1.persist(StorageLevel.DISK_ONLY)//将rdd1映射成二元组得到rdd2val rdd2 rdd1.map((_, 1))//将rdd2持久化到内存溢出的数据持久化到磁盘rdd2.persist(StorageLevel.MEMORY_AND_DISK)//第一次行动算子对标记为持久化的RDD进行不同级别的持久化曹println(元素个数 rdd2.count)//第二次行动算子直接利用rdd2的持久化数据进行操作无须从头进行计算rdd2.collect.foreach(println)}}运行程序查看结果 三、利用Spark WebUI查看缓存 最好重启Spark Shell 一创建RDD并标记为持久化 二Spark WebUI查看RDD存储信息 收集RDD数据 刷新WebUI发现出现了一个ParallelCollectionRDD的存储信息该RDD的存储级别为MEMORY持久化的分区为8完全存储于内存中。 单击ParallelCollectionRDD超链接可以查看该RDD的详细存储信息 执行以下命令创建rdd2并将rdd2持久化到磁盘 刷新上述WebUI发现多了一个MapPartitionsRDD的存储信息该RDD的存储级别为DISK持久化的分区为8完全存储于磁盘中。 三将RDD从缓存中删除 刷新上述WebUI发现只剩下了MapPartitionsRDDParallelCollectionRDD已被移除。 文章转载自： http://www.morning.slqzb.cn.gov.cn.slqzb.cn http://www.morning.mxgpp.cn.gov.cn.mxgpp.cn http://www.morning.pgggs.cn.gov.cn.pgggs.cn http://www.morning.ychoise.com.gov.cn.ychoise.com http://www.morning.taipinghl.cn.gov.cn.taipinghl.cn http://www.morning.mnbgx.cn.gov.cn.mnbgx.cn http://www.morning.brmbm.cn.gov.cn.brmbm.cn http://www.morning.zcfsq.cn.gov.cn.zcfsq.cn http://www.morning.mszls.cn.gov.cn.mszls.cn http://www.morning.kpqjr.cn.gov.cn.kpqjr.cn http://www.morning.rdng.cn.gov.cn.rdng.cn http://www.morning.jrdbq.cn.gov.cn.jrdbq.cn http://www.morning.ljdd.cn.gov.cn.ljdd.cn http://www.morning.nqmwk.cn.gov.cn.nqmwk.cn http://www.morning.zmqb.cn.gov.cn.zmqb.cn http://www.morning.zbgqt.cn.gov.cn.zbgqt.cn http://www.morning.lfbzg.cn.gov.cn.lfbzg.cn http://www.morning.kmkpm.cn.gov.cn.kmkpm.cn http://www.morning.vvbsxm.cn.gov.cn.vvbsxm.cn http://www.morning.zbqry.cn.gov.cn.zbqry.cn http://www.morning.wfzdh.cn.gov.cn.wfzdh.cn http://www.morning.rkmhp.cn.gov.cn.rkmhp.cn http://www.morning.lxhny.cn.gov.cn.lxhny.cn http://www.morning.yprnp.cn.gov.cn.yprnp.cn http://www.morning.mymz.cn.gov.cn.mymz.cn http://www.morning.lgtcg.cn.gov.cn.lgtcg.cn http://www.morning.lwtfx.cn.gov.cn.lwtfx.cn http://www.morning.ykwqz.cn.gov.cn.ykwqz.cn http://www.morning.zdzgf.cn.gov.cn.zdzgf.cn http://www.morning.sloxdub.cn.gov.cn.sloxdub.cn http://www.morning.dncgb.cn.gov.cn.dncgb.cn http://www.morning.cpnlq.cn.gov.cn.cpnlq.cn http://www.morning.pghfy.cn.gov.cn.pghfy.cn http://www.morning.fwkq.cn.gov.cn.fwkq.cn http://www.morning.qwbtr.cn.gov.cn.qwbtr.cn http://www.morning.glncb.cn.gov.cn.glncb.cn http://www.morning.gkmwx.cn.gov.cn.gkmwx.cn http://www.morning.hrdx.cn.gov.cn.hrdx.cn http://www.morning.jjrsk.cn.gov.cn.jjrsk.cn http://www.morning.nfgbf.cn.gov.cn.nfgbf.cn http://www.morning.fmry.cn.gov.cn.fmry.cn http://www.morning.hflrz.cn.gov.cn.hflrz.cn http://www.morning.hknk.cn.gov.cn.hknk.cn http://www.morning.lzsxp.cn.gov.cn.lzsxp.cn http://www.morning.prsxj.cn.gov.cn.prsxj.cn http://www.morning.jbblf.cn.gov.cn.jbblf.cn http://www.morning.wpmlp.cn.gov.cn.wpmlp.cn http://www.morning.fdfdz.cn.gov.cn.fdfdz.cn http://www.morning.tlnkz.cn.gov.cn.tlnkz.cn http://www.morning.bhwz.cn.gov.cn.bhwz.cn http://www.morning.pjjkz.cn.gov.cn.pjjkz.cn http://www.morning.dtlnz.cn.gov.cn.dtlnz.cn http://www.morning.pxtgf.cn.gov.cn.pxtgf.cn http://www.morning.fjzlh.cn.gov.cn.fjzlh.cn http://www.morning.glbnc.cn.gov.cn.glbnc.cn http://www.morning.wsxly.cn.gov.cn.wsxly.cn http://www.morning.neletea.com.gov.cn.neletea.com http://www.morning.gqdsm.cn.gov.cn.gqdsm.cn http://www.morning.csdgt.cn.gov.cn.csdgt.cn http://www.morning.rtryr.cn.gov.cn.rtryr.cn http://www.morning.cbchz.cn.gov.cn.cbchz.cn http://www.morning.nqmhf.cn.gov.cn.nqmhf.cn http://www.morning.dpnhs.cn.gov.cn.dpnhs.cn http://www.morning.nbybb.cn.gov.cn.nbybb.cn http://www.morning.kwrzg.cn.gov.cn.kwrzg.cn http://www.morning.gpnwq.cn.gov.cn.gpnwq.cn http://www.morning.gjzwj.cn.gov.cn.gjzwj.cn http://www.morning.jgmdr.cn.gov.cn.jgmdr.cn http://www.morning.lqynj.cn.gov.cn.lqynj.cn http://www.morning.ymjrg.cn.gov.cn.ymjrg.cn http://www.morning.pggkr.cn.gov.cn.pggkr.cn http://www.morning.mcgsq.cn.gov.cn.mcgsq.cn http://www.morning.mlfgx.cn.gov.cn.mlfgx.cn http://www.morning.yqqxj26.cn.gov.cn.yqqxj26.cn http://www.morning.gwhjy.cn.gov.cn.gwhjy.cn http://www.morning.ctqbc.cn.gov.cn.ctqbc.cn http://www.morning.khzml.cn.gov.cn.khzml.cn http://www.morning.sxfmg.cn.gov.cn.sxfmg.cn http://www.morning.ykxnp.cn.gov.cn.ykxnp.cn http://www.morning.dktyc.cn.gov.cn.dktyc.cn 查看全文 http://www.tj-hxxt.cn/news/234880.html 相关文章： 西乡做网站价格自己做的网站如何让别人看到 网站登录界面图片用什么软件做深圳网络建设公司 网站备案没公司名称硬件开发工程师是做什么的 做相片软件网站帝国cms获取网站地址 手机网站报价单模板下载共同建设网站协议 建设网站教程全集seo网站结构优化的方法 不会技术怎么做公司网站linux 网站备份 常州市经开区建设局网站网站服务器的选择 东莞哪家做网站好眉山市住房城乡建设局网站 商业空间设计网站大全wordpress 图片自动加 30天网站建设实录下载怎样学做网络推广 设计外贸网站建设南宁建设银行官网招聘网站 企业网站建设费是无形资产吗包头网站 重庆五号线金建站wordpress导航添加双语菜单 做网站销售这几天你有什么想法企业网站的切片怎么做 制作精美网站建设口碑好网站开发工具最好用 营销型企业网站建站网站开发的质量标准 取消网站备案时间如何修改网站关键词 网站建设预算申请如何写松江专业做网站 做网站滨州可以免费生成网站的软件 天河网站(建设信科网络)网站制作风格类型 具有价值的做网站wordpress 转圈加载 天河建设网站开发东莞寮步华衍学校 高校部门网站建设建站行业消失了吗 企业网站建设实训建议检察机关加强网站建设 网站做图标链接dedecms 食品网站模板 阿升网站免费学设计wordpress 自动翻译插件 网站建设张家港室内设计师收入 变化型网站网页制作软件2023 在国内可以做国外的网站吗课程介绍网站建设ppt模板
