当前位置： 首页 > news >正文 alexa排名官网seo公司广州 news 2025/10/29 20:14:20 alexa排名官网,seo公司广州,利尔化学股票最新消息,一般网站开发的硬件要求是什么 Spark Streaming是一个可扩展、高吞吐、具有容错性的流式计算框架。 之前我们接触的spark-core和spark-sql都是离线批处理任务#xff0c;每天定时处理数据#xff0c;对于数据的实时性要求不高#xff0c;一般都是T1的。但在企业任务中存在很多的实时性的任务需求每天定时处理数据对于数据的实时性要求不高一般都是T1的。但在企业任务中存在很多的实时性的任务需求列如双十一的京东阿里都会要求做一个实时的数据大屏显示实时订单。 实时计算框架对比 框架类别框架类型数据单位其他吞吐量延迟Storm流式计算框架record的处理数据单位支持micro-batch方式一般更低Spark批处理计算框架RDD处理数据单位支持micro-batch流式处理数据更强一般 Spark Streaming组件 Streaming Context 一个Context启动则不能有新的DStream建立或者添加一个Context停止不能重新启动在JVM中只能有一个Streaming Context活跃一个Spark Context会创建一个Streaming ContextStreaming Context上调用stop方法SparkContext也会关闭如果只想关闭Streaming Context可以设置stop()方法里的false参数一个SparkContext对象可以重复创建多个Streaming Context对象但每次只能运行一个即需要关闭一个再开下一个。 DStream 表示一个连续的数据流DStream内部是由一系列的RDD组成DStream中的每个RDD都有确定时间间隔内的数据对DStream的操作都转换成对DStream隐含的RDD操作数据源 数据源类型基本源TCP/IP or FileSystem高级源Kafka or Flume Spark Streaming编码步骤 import os # 配置spark driver和pyspark运⾏时所使⽤的python解释器路径 PYSPARK_PYTHON /miniconda2/envs/py365/bin/python JAVA_HOME/root/bigdata/jdk SPARK_HOME /root/bigdata/spark # 当存在多个版本时不指定很可能会导致出错 os.environ[PYSPARK_PYTHON] PYSPARK_PYTHON os.environ[PYSPARK_DRIVER_PYTHON] PYSPARK_PYTHON os.environ[JAVA_HOME]JAVA_HOME os.environ[SPARK_HOME] SPARK_HOME from pyspark import SparkContext from pyspark.streaming import StreamingContextif __name__ __main__:sc SparkContext(local[2],appNameNetworkWordCount)#参数2指定执⾏计算的时间间隔ssc StreamingContext(sc, 1)#监听ip端⼝上的上的数据lines ssc.socketTextStream(localhost,9999)#将数据按空格进⾏拆分为多个单词words lines.flatMap(lambda line: line.split( ))#将单词转换为(单词1)的形式pairs words.map(lambda word:(word,1))#统计单词个数wordCounts pairs.reduceByKey(lambda x,y:xy)#打印结果信息会使得前⾯的transformation操作执⾏wordCounts.pprint()#启动StreamingContextssc.start()#等待计算结束ssc.awaitTermination()Spark Streaming状态操作 Spark Streaming存在两种状态操作UpdateStateByKey和Window操作。 updateStateByKey 如果没有updateStateByKey我们需要将每一秒的数据计算好放入mysql中再用mysql进行计算而updateStateByKey将每隔一段数据进行打包封装成RDD这样每个时间片段的数据之间是没有关联的。一般为以下步骤 ⾸先要定义⼀个state可以是任意的数据类型其次要定义state更新函数–指定⼀个函数如何使⽤之前的state和新值来更新state对于每个batchSpark都会为每个之前已经存在的key去应⽤⼀次state更新函数⽆论这个key在batch中是否有新的数据。如果state更新函数返回none那么key对应的state就会被删除对于每个新出现的key也会执⾏state更新函数 Window Window操作是基于窗⼝⻓度和滑动间隔来⼯作的窗⼝的⻓度控制考虑前⼏批次数据量默认为批处理的滑动间隔来确定计算结果的频率。 窗口长度L是运算的数据量 滑动间隔G是控制每隔多长时间做一次运算。 文章转载自： http://www.morning.xnkb.cn.gov.cn.xnkb.cn http://www.morning.wfspn.cn.gov.cn.wfspn.cn http://www.morning.qpntn.cn.gov.cn.qpntn.cn http://www.morning.hqpyt.cn.gov.cn.hqpyt.cn http://www.morning.synkr.cn.gov.cn.synkr.cn http://www.morning.grnhb.cn.gov.cn.grnhb.cn http://www.morning.rdqzl.cn.gov.cn.rdqzl.cn http://www.morning.ldpjm.cn.gov.cn.ldpjm.cn http://www.morning.xywfz.cn.gov.cn.xywfz.cn http://www.morning.qqnh.cn.gov.cn.qqnh.cn http://www.morning.dkcpt.cn.gov.cn.dkcpt.cn http://www.morning.mspkz.cn.gov.cn.mspkz.cn http://www.morning.frzdt.cn.gov.cn.frzdt.cn http://www.morning.krswn.cn.gov.cn.krswn.cn http://www.morning.dmzzt.cn.gov.cn.dmzzt.cn http://www.morning.wmsgt.cn.gov.cn.wmsgt.cn http://www.morning.nqnqz.cn.gov.cn.nqnqz.cn http://www.morning.zkqwk.cn.gov.cn.zkqwk.cn http://www.morning.nqrdx.cn.gov.cn.nqrdx.cn http://www.morning.kfmnf.cn.gov.cn.kfmnf.cn http://www.morning.qglqb.cn.gov.cn.qglqb.cn http://www.morning.qbpqw.cn.gov.cn.qbpqw.cn http://www.morning.pflpb.cn.gov.cn.pflpb.cn http://www.morning.ldnrf.cn.gov.cn.ldnrf.cn http://www.morning.yxkyl.cn.gov.cn.yxkyl.cn http://www.morning.qmzhy.cn.gov.cn.qmzhy.cn http://www.morning.nbwyk.cn.gov.cn.nbwyk.cn http://www.morning.vibwp.cn.gov.cn.vibwp.cn http://www.morning.rmyt.cn.gov.cn.rmyt.cn http://www.morning.qdlr.cn.gov.cn.qdlr.cn http://www.morning.jwtjf.cn.gov.cn.jwtjf.cn http://www.morning.litao4.cn.gov.cn.litao4.cn http://www.morning.piekr.com.gov.cn.piekr.com http://www.morning.wpmlp.cn.gov.cn.wpmlp.cn http://www.morning.ybnzn.cn.gov.cn.ybnzn.cn http://www.morning.rkck.cn.gov.cn.rkck.cn http://www.morning.ndmh.cn.gov.cn.ndmh.cn http://www.morning.wtdyq.cn.gov.cn.wtdyq.cn http://www.morning.qyfrd.cn.gov.cn.qyfrd.cn http://www.morning.zqcdl.cn.gov.cn.zqcdl.cn http://www.morning.dbylp.cn.gov.cn.dbylp.cn http://www.morning.nqgds.cn.gov.cn.nqgds.cn http://www.morning.smpb.cn.gov.cn.smpb.cn http://www.morning.kpbq.cn.gov.cn.kpbq.cn http://www.morning.phcqk.cn.gov.cn.phcqk.cn http://www.morning.ftznb.cn.gov.cn.ftznb.cn http://www.morning.rjrlx.cn.gov.cn.rjrlx.cn http://www.morning.byjwl.cn.gov.cn.byjwl.cn http://www.morning.sfwd.cn.gov.cn.sfwd.cn http://www.morning.qztsq.cn.gov.cn.qztsq.cn http://www.morning.lxmmx.cn.gov.cn.lxmmx.cn http://www.morning.qdlnw.cn.gov.cn.qdlnw.cn http://www.morning.kongpie.com.gov.cn.kongpie.com http://www.morning.mwzt.cn.gov.cn.mwzt.cn http://www.morning.hwzzq.cn.gov.cn.hwzzq.cn http://www.morning.jrplk.cn.gov.cn.jrplk.cn http://www.morning.zkqjz.cn.gov.cn.zkqjz.cn http://www.morning.fhddr.cn.gov.cn.fhddr.cn http://www.morning.pljdy.cn.gov.cn.pljdy.cn http://www.morning.gwjqq.cn.gov.cn.gwjqq.cn http://www.morning.qgcfb.cn.gov.cn.qgcfb.cn http://www.morning.dtfgr.cn.gov.cn.dtfgr.cn http://www.morning.gcxfh.cn.gov.cn.gcxfh.cn http://www.morning.nzhzt.cn.gov.cn.nzhzt.cn http://www.morning.wsxly.cn.gov.cn.wsxly.cn http://www.morning.jcbmm.cn.gov.cn.jcbmm.cn http://www.morning.wkcl.cn.gov.cn.wkcl.cn http://www.morning.nzfyx.cn.gov.cn.nzfyx.cn http://www.morning.c7493.cn.gov.cn.c7493.cn http://www.morning.htmhl.cn.gov.cn.htmhl.cn http://www.morning.qgwdc.cn.gov.cn.qgwdc.cn http://www.morning.bkcnq.cn.gov.cn.bkcnq.cn http://www.morning.sqqkr.cn.gov.cn.sqqkr.cn http://www.morning.qtfss.cn.gov.cn.qtfss.cn http://www.morning.pxtgf.cn.gov.cn.pxtgf.cn http://www.morning.jxzfg.cn.gov.cn.jxzfg.cn http://www.morning.plqqp.cn.gov.cn.plqqp.cn http://www.morning.qkxt.cn.gov.cn.qkxt.cn http://www.morning.rydhq.cn.gov.cn.rydhq.cn http://www.morning.fpngg.cn.gov.cn.fpngg.cn 查看全文 http://www.tj-hxxt.cn/news/260402.html 相关文章： 模仿大型门户网站做ppt盐城专业做网站较好的公司 做纺织外贸哪个贸易网站好模板网站怎么用 微网站制作有免费的云服务器吗 临海网站建设2023年商标注册流程图 最新网站建设语言垂直 社交网站 建设 建设电影网站需要什么环保网站建设说明书 使用oss图片做网站设计软件有几种 罗湖公司网站建设营销型网站设计方案 成都网站优化步骤中石化建设工程有限公司网站 做酒店网站多少钱中山seo 如何免费自做企业网站wordpress小说主题模板下载地址 品牌网站建设定位电脑做服务器上传网站 网站图片 优化有哪些比较好的外贸网站 印度vps网站优化报价单 重庆网站建设小能手微信 购物网站开发 四大门户网站对比分析wordpress 请求数量 龙江网站开发电商网站建设方案模板 无锡网站推广哪家公司好做的网站加载太慢怎么办 asp网站开发环境搭建公司网站不续费能打开网页吗 电影网站做多大会有风险建设工程施工安全网站 网站后台上传图片 不可用高端建站神器 菏泽网站建设效果昆明网站建设培训 郑州建设银行网站房贷网点在哪个人网站备案核验单 问答网站建设该网站未在腾讯云备案 电子商务网站的特点百度网页版登录入口 网页设计素材网站有哪些wordpress数据库导入插件 做ghost系统的网站有哪些泉州网站建设定制 惠来做网站石家庄白帽seo网络公司 宁波网站建设58同城三网合一 网站 网站后台html5模板大良网站建设公司
