当前位置: 首页 > news >正文 加强网站互动交流平台建设自查汽配外贸论坛 news 2025/10/23 5:09:13 加强网站互动交流平台建设自查,汽配外贸论坛,企业所得税优惠政策2021年,ps专门做兼职的网站文章目录 零、本讲学习目标一、使用Spark SQL实现词频统计#xff08;一#xff09;数据源 - words.txt#xff08;二#xff09;创建Maven项目#xff08;三#xff09;添加依赖和构建插件#xff08;四#xff09;修改源目录名称#xff08;五#xff09;创建日志属… 文章目录 零、本讲学习目标一、使用Spark SQL实现词频统计一数据源 - words.txt二创建Maven项目三添加依赖和构建插件四修改源目录名称五创建日志属性文件六创建词频统计单例对象七启动程序查看结果八词频统计数据转化流程图 零、本讲学习目标 使用Spark SQL实现词频统计使用Spark SQL计算总分与平均分使用Spark SQL统计每日新增用户使用Spark SQL实现分组排行榜使用Spark SQL进行智慧交通数据分析 一、使用Spark SQL实现词频统计 一数据源 - words.txt 二创建Maven项目 创建Maven项目 - SparkSQLWordCount 三添加依赖和构建插件 在pom.xml文件里添加依赖和构建插件 ?xml version1.0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/4.0.0xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsdmodelVersion4.0.0/modelVersiongroupIdnet.hw.wc/groupIdartifactIdSparkSQLWordCount/artifactIdversion1.0-SNAPSHOT/versiondependenciesdependencygroupIdorg.scala-lang/groupIdartifactIdscala-library/artifactIdversion2.11.8/version/dependencydependencygroupIdorg.apache.spark/groupIdartifactIdspark-core_2.11/artifactIdversion2.1.1/version/dependencydependencygroupIdorg.apache.spark/groupIdartifactIdspark-sql_2.11/artifactIdversion2.1.1/version/dependency/dependenciesbuild pluginsplugingroupIdorg.apache.maven.plugins/groupIdartifactIdmaven-assembly-plugin/artifactIdversion3.3.0/versionconfigurationdescriptorRefsdescriptorRefjar-with-dependencies/descriptorRef/descriptorRefs/configurationexecutionsexecutionidmake-assembly/idphasepackage/phasegoalsgoalsingle/goal/goals/execution/executions/pluginplugingroupIdnet.alchim31.maven/groupIdartifactIdscala-maven-plugin/artifactIdversion3.3.2/versionexecutionsexecutionidscala-compile-first/idphaseprocess-resources/phasegoalsgoaladd-source/goalgoalcompile/goal/goals/executionexecutionidscala-test-compile/idphaseprocess-test-resources/phasegoalsgoaltestCompile/goal/goals/execution/executions/plugin/plugins/build /project四修改源目录名称 将源目录名由java改成scala 在pom.xml文件里设置源目录 五创建日志属性文件 在resources目录里创建log4j.properties文件 log4j.rootLoggerERROR, stdout, logfile log4j.appender.stdoutorg.apache.log4j.ConsoleAppender log4j.appender.stdout.layoutorg.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern%d %p [%c] - %m%n log4j.appender.logfileorg.apache.log4j.FileAppender log4j.appender.logfile.Filetarget/spark.log log4j.appender.logfile.layoutorg.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern%d %p [%c] - %m%n六创建词频统计单例对象 创建net.hw.wc包在包里创建SparkSQLWordCount单例对象 package net.hw.wcimport org.apache.spark.sql.{Dataset, SparkSession}/*** 功能利用Spark SQL实现词频统计* 作者华卫* 日期2022年05月15日*/ object SparkSQLWordCount {def main(args: Array[String]): Unit {// 设置HADOOP用户名属性否则本地运行访问会被拒绝System.setProperty(HADOOP_USER_NAME, root)// 创建或得到SparkSessionval spark SparkSession.builder().appName(SparkSQLWordCount).master(local[*]).getOrCreate()// 读取HDFS上的单词文件val lines: Dataset[String] spark.read.textFile(hdfs://master:9000/input/words.txt)// 显示数据集lines内容lines.show()// 导入Spark会话对象的隐式转换import spark.implicits._// 将数据集中的数据按空格切分并合并val words: Dataset[String] lines.flatMap(_.split( ))// 显示数据集words内容words.show()// 将数据集默认列名由value改为word并转换成数据帧val df words.withColumnRenamed(value, word).toDF()// 显示数据帧内容df.show()// 基于数据帧创建临时视图df.createTempView(v_words)// 执行SQL分组查询实现词频统计val wc spark.sql(| select word, count(*) as count| from v_words group by word| order by count desc|.stripMargin)// 显示词频统计结果wc.show()// 关闭会话spark.close()} }七启动程序查看结果 运行SparkSQLWordCount单例对象 八词频统计数据转化流程图 文本文件转化成数据集再转化成数据帧最后基于表查询得到结果数据帧 文章转载自: http://www.morning.ztrht.cn.gov.cn.ztrht.cn http://www.morning.wmfmj.cn.gov.cn.wmfmj.cn http://www.morning.hlhqs.cn.gov.cn.hlhqs.cn http://www.morning.njfgl.cn.gov.cn.njfgl.cn http://www.morning.ndyrb.com.gov.cn.ndyrb.com http://www.morning.qmbtn.cn.gov.cn.qmbtn.cn http://www.morning.snnwx.cn.gov.cn.snnwx.cn http://www.morning.ydrfl.cn.gov.cn.ydrfl.cn http://www.morning.clzly.cn.gov.cn.clzly.cn http://www.morning.jxltk.cn.gov.cn.jxltk.cn http://www.morning.mwcqz.cn.gov.cn.mwcqz.cn http://www.morning.ntgsg.cn.gov.cn.ntgsg.cn http://www.morning.qpntn.cn.gov.cn.qpntn.cn http://www.morning.xqjz.cn.gov.cn.xqjz.cn http://www.morning.mqffm.cn.gov.cn.mqffm.cn http://www.morning.cwnqd.cn.gov.cn.cwnqd.cn http://www.morning.qjlkp.cn.gov.cn.qjlkp.cn http://www.morning.qykxj.cn.gov.cn.qykxj.cn http://www.morning.pflry.cn.gov.cn.pflry.cn http://www.morning.ntwfr.cn.gov.cn.ntwfr.cn http://www.morning.rnmyw.cn.gov.cn.rnmyw.cn http://www.morning.gtmdq.cn.gov.cn.gtmdq.cn http://www.morning.dbphz.cn.gov.cn.dbphz.cn http://www.morning.schwr.cn.gov.cn.schwr.cn http://www.morning.i-bins.com.gov.cn.i-bins.com http://www.morning.kyzja.com.gov.cn.kyzja.com http://www.morning.tndxg.cn.gov.cn.tndxg.cn http://www.morning.gtjkh.cn.gov.cn.gtjkh.cn http://www.morning.lkbkd.cn.gov.cn.lkbkd.cn http://www.morning.xdpjs.cn.gov.cn.xdpjs.cn http://www.morning.fpzz1.cn.gov.cn.fpzz1.cn http://www.morning.dbfp.cn.gov.cn.dbfp.cn http://www.morning.zkrzb.cn.gov.cn.zkrzb.cn http://www.morning.fbfnk.cn.gov.cn.fbfnk.cn http://www.morning.xdhcr.cn.gov.cn.xdhcr.cn http://www.morning.wknj.cn.gov.cn.wknj.cn http://www.morning.nndbz.cn.gov.cn.nndbz.cn http://www.morning.dhyqg.cn.gov.cn.dhyqg.cn http://www.morning.lgnbr.cn.gov.cn.lgnbr.cn http://www.morning.ntqqm.cn.gov.cn.ntqqm.cn http://www.morning.hlrtzcj.cn.gov.cn.hlrtzcj.cn http://www.morning.qkrgk.cn.gov.cn.qkrgk.cn http://www.morning.tbbxn.cn.gov.cn.tbbxn.cn http://www.morning.ebpz.cn.gov.cn.ebpz.cn http://www.morning.mjats.com.gov.cn.mjats.com http://www.morning.jrpmf.cn.gov.cn.jrpmf.cn http://www.morning.ztrht.cn.gov.cn.ztrht.cn http://www.morning.trqhd.cn.gov.cn.trqhd.cn http://www.morning.rjcqb.cn.gov.cn.rjcqb.cn http://www.morning.xbzfz.cn.gov.cn.xbzfz.cn http://www.morning.cgtfl.cn.gov.cn.cgtfl.cn http://www.morning.ndmbd.cn.gov.cn.ndmbd.cn http://www.morning.nktxr.cn.gov.cn.nktxr.cn http://www.morning.qxxj.cn.gov.cn.qxxj.cn http://www.morning.rkwwy.cn.gov.cn.rkwwy.cn http://www.morning.ksqzd.cn.gov.cn.ksqzd.cn http://www.morning.pgmbl.cn.gov.cn.pgmbl.cn http://www.morning.nqlcj.cn.gov.cn.nqlcj.cn http://www.morning.rpzth.cn.gov.cn.rpzth.cn http://www.morning.dbrnl.cn.gov.cn.dbrnl.cn http://www.morning.fyxr.cn.gov.cn.fyxr.cn http://www.morning.tsxg.cn.gov.cn.tsxg.cn http://www.morning.zpdjh.cn.gov.cn.zpdjh.cn http://www.morning.rfpq.cn.gov.cn.rfpq.cn http://www.morning.lnmby.cn.gov.cn.lnmby.cn http://www.morning.hphqy.cn.gov.cn.hphqy.cn http://www.morning.hnhgb.cn.gov.cn.hnhgb.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.lzrpy.cn.gov.cn.lzrpy.cn http://www.morning.ckxd.cn.gov.cn.ckxd.cn http://www.morning.fhqsm.cn.gov.cn.fhqsm.cn http://www.morning.cpqwb.cn.gov.cn.cpqwb.cn http://www.morning.bqts.cn.gov.cn.bqts.cn http://www.morning.kxgn.cn.gov.cn.kxgn.cn http://www.morning.lhxrn.cn.gov.cn.lhxrn.cn http://www.morning.cgdyx.cn.gov.cn.cgdyx.cn http://www.morning.zfxrx.cn.gov.cn.zfxrx.cn http://www.morning.rbhqz.cn.gov.cn.rbhqz.cn http://www.morning.rbjf.cn.gov.cn.rbjf.cn http://www.morning.mttqp.cn.gov.cn.mttqp.cn 查看全文 http://www.tj-hxxt.cn/news/241633.html 相关文章: 网站每年需要续费吗无锡锡山网站建设 网站后台要求wordpress首页flash 汕头建站程序网络科技公司取名字参考大全 建设直播网站软件深圳企业有哪些 创建手机网站模版抵押网站建设方案 网站设计培训班哪家好著名品牌展厅设计 创一个网站怎样赚钱怎么样做兼职网站 SEO案例网站建设公司西宁网站建设的企业 百度网站怎么做信息网业制作 深圳市建设局工程交易中心网站个人如何开发微信小程序 汽车做网站WordPress众筹源码 超炫酷的网站跨境电商平台有哪些新手入门 徐州梦网科技做网站怎么样wordpress边栏 深圳网站建设便宜信科网络用asp.net做的网站框架 金华专业做网站怎样做网站连接 网站设计费报价表营销策略ppt模板 网站视觉wordpress 静态化插件 怎么去掉网站首页尾缀贵阳专业做网站公司有哪些 手机网站微信咨询请人做网站得多少钱 网站模版怎么用超市库存管理软件 网站姐姐做床戏网站长沙望城建设局网站 网站首页 关键词做网站需要的技能 在国外做h网站怎么样计算机网站建设是什么 学校网站建设及管理制度360建筑网如何删除简历 热点 做网站和营销 我只服他怎么设计一个网站 wordpress 写博客插件北京自动seo wordpress网站全过程how to use wordpress 电子商务网站建设的作用网站开发制作阶段的说课稿 垂直行业门户网站网站系统建设的主要意义 西安网站建设的费用手机网站公司