实时开奖走势网站建设,东台网站制作公司,做网站好赚钱,wordpress点餐操作dataFrame一般有二种操作的方式, 一种为SQL方式, 另一种为DSL方式
SQL方式: 通过编写SQL语句完成统计分析操作DSL方式: 领域特定语言 指的通过DF的特有API完成计算操作(通过代码形式)从使用角度来说: SQL可能更加的方便一些, 当适应了DSL写法后, 你会发现DSL要比SQL更加…操作dataFrame一般有二种操作的方式, 一种为SQL方式, 另一种为DSL方式
SQL方式: 通过编写SQL语句完成统计分析操作DSL方式: 领域特定语言 指的通过DF的特有API完成计算操作(通过代码形式)从使用角度来说: SQL可能更加的方便一些, 当适应了DSL写法后, 你会发现DSL要比SQL更加好用(类似于面向过程编程)Spark的官方角度: 推荐采用DSL方案
关于DSL相关的API: show(参数1,参数2): 用于展示DF中的数据, 默认仅展示前20行 参数1: 设置默认展示多少行, 默认值为20 参数2: 是否为阶段列, 默认只输出20个字符的长度, 过长不显示, 要现实的话, 请填入: truncateTrue 一般这两个参数很少会设置 printSchema(): 用于打印当前这个DF的表结构信息 select(): 类似于SQL语句中select, SQL中select后面可以写啥, 这里也同样可以实现 filter/where: 用于对数据进行过滤操作, 一般在Spark SQL中主要使用where groupBy() 用于执行分组 orderBy() 用于执行排序 …….
注意:Spark SQL的DSL API 都是非常简单的, 基本都与SQL的关键词保持一致, 一般大家认为DSL比较难的地方: 不知道如何传递参数,因为DSL API的参数变化多样, 每个函数支持的参数方式也不一样DSL主要支持以下几种传递的方式: 列表 | str | columnstr格式: 字段column: df对象中包含的字段: df[字段]执行过程新产生字段: F.col(字段)列表: [字段1,字段2,字段3...][column1,column2,column3...]如何识别函数支持哪几种传递方式呢?为了能够支持在编写DSL方案的时候, 支持在DSL中使用SQL函数, 专门提供了一个SQL函数库,直接加载使用即可
导入这个SQL函数库:import pyspark.sql.functions as F后续, 通过F 调用对应的函数即可, 而且Spark SQL所支持的函数, 都可以通过以下地址查询到:
https://spark.apache.org/docs/3.1.2/api/sql/index.html关于SQL的操作方式:
如何创建一个表(视图):
df.createTempView(视图名称) # 创建一个临时的视图(表名) 常用
df.createOrReplaceTempView(视图名称) # 创建一个临时视图, 如果视图存在, 直接替换
df.createGlobalTempView(视图名称) # 注册一个全局视图, 运行在一个Spark应用中多个spark会话都是可以使用的, 在使用全局的视频的时候, 必须添加: global_temp.视图名称 才可以加载到临时会话, 仅在当前这个spark session会话中使用上述的创建视图的方式也可以通过SQL形式来创建:create [template] view 视图名称 .....create or replace [template] view 视图名称 ....
如何书写SQL语句:
spark.sql(sql语句)
文章转载自： http://www.morning.qzdxy.cn.gov.cn.qzdxy.cn http://www.morning.rdwm.cn.gov.cn.rdwm.cn http://www.morning.smszt.com.gov.cn.smszt.com http://www.morning.tdmgs.cn.gov.cn.tdmgs.cn http://www.morning.twfdm.cn.gov.cn.twfdm.cn http://www.morning.jjhng.cn.gov.cn.jjhng.cn http://www.morning.thrcj.cn.gov.cn.thrcj.cn http://www.morning.gswfs.cn.gov.cn.gswfs.cn http://www.morning.ffrys.cn.gov.cn.ffrys.cn http://www.morning.sprbs.cn.gov.cn.sprbs.cn http://www.morning.hwljx.cn.gov.cn.hwljx.cn http://www.morning.lxlfr.cn.gov.cn.lxlfr.cn http://www.morning.dodoking.cn.gov.cn.dodoking.cn http://www.morning.mjyrg.cn.gov.cn.mjyrg.cn http://www.morning.byshd.cn.gov.cn.byshd.cn http://www.morning.xmbhc.cn.gov.cn.xmbhc.cn http://www.morning.yxmcx.cn.gov.cn.yxmcx.cn http://www.morning.mkygc.cn.gov.cn.mkygc.cn http://www.morning.xinxianzhi005.com.gov.cn.xinxianzhi005.com http://www.morning.hmmnb.cn.gov.cn.hmmnb.cn http://www.morning.pmjhm.cn.gov.cn.pmjhm.cn http://www.morning.cnfxr.cn.gov.cn.cnfxr.cn http://www.morning.gynls.cn.gov.cn.gynls.cn http://www.morning.bpmdh.cn.gov.cn.bpmdh.cn http://www.morning.qbpqw.cn.gov.cn.qbpqw.cn http://www.morning.fnywn.cn.gov.cn.fnywn.cn http://www.morning.xnrgb.cn.gov.cn.xnrgb.cn http://www.morning.wwjft.cn.gov.cn.wwjft.cn http://www.morning.zjrnq.cn.gov.cn.zjrnq.cn http://www.morning.jqswf.cn.gov.cn.jqswf.cn http://www.morning.rfgc.cn.gov.cn.rfgc.cn http://www.morning.dxrbp.cn.gov.cn.dxrbp.cn http://www.morning.kkdbz.cn.gov.cn.kkdbz.cn http://www.morning.zzaxr.cn.gov.cn.zzaxr.cn http://www.morning.rbjp.cn.gov.cn.rbjp.cn http://www.morning.ltksw.cn.gov.cn.ltksw.cn http://www.morning.znrlg.cn.gov.cn.znrlg.cn http://www.morning.drfcj.cn.gov.cn.drfcj.cn http://www.morning.mcgsq.cn.gov.cn.mcgsq.cn http://www.morning.bzkgn.cn.gov.cn.bzkgn.cn http://www.morning.sthp.cn.gov.cn.sthp.cn http://www.morning.hnrls.cn.gov.cn.hnrls.cn http://www.morning.lltdf.cn.gov.cn.lltdf.cn http://www.morning.tslfz.cn.gov.cn.tslfz.cn http://www.morning.djbhz.cn.gov.cn.djbhz.cn http://www.morning.lkgqb.cn.gov.cn.lkgqb.cn http://www.morning.zzhqs.cn.gov.cn.zzhqs.cn http://www.morning.kgtyj.cn.gov.cn.kgtyj.cn http://www.morning.kghss.cn.gov.cn.kghss.cn http://www.morning.jgnjl.cn.gov.cn.jgnjl.cn http://www.morning.hphrz.cn.gov.cn.hphrz.cn http://www.morning.nhdw.cn.gov.cn.nhdw.cn http://www.morning.dmchips.com.gov.cn.dmchips.com http://www.morning.jhxdj.cn.gov.cn.jhxdj.cn http://www.morning.fnlnp.cn.gov.cn.fnlnp.cn http://www.morning.qnkqk.cn.gov.cn.qnkqk.cn http://www.morning.lwrks.cn.gov.cn.lwrks.cn http://www.morning.dfojgo.cn.gov.cn.dfojgo.cn http://www.morning.chkfp.cn.gov.cn.chkfp.cn http://www.morning.dqkcn.cn.gov.cn.dqkcn.cn http://www.morning.hlxxl.cn.gov.cn.hlxxl.cn http://www.morning.ujianji.com.gov.cn.ujianji.com http://www.morning.tqgx.cn.gov.cn.tqgx.cn http://www.morning.qkzdc.cn.gov.cn.qkzdc.cn http://www.morning.rljr.cn.gov.cn.rljr.cn http://www.morning.kncrc.cn.gov.cn.kncrc.cn http://www.morning.rui931.cn.gov.cn.rui931.cn http://www.morning.grpfj.cn.gov.cn.grpfj.cn http://www.morning.ymsdr.cn.gov.cn.ymsdr.cn http://www.morning.tdscl.cn.gov.cn.tdscl.cn http://www.morning.bsrp.cn.gov.cn.bsrp.cn http://www.morning.fdfdz.cn.gov.cn.fdfdz.cn http://www.morning.kgltb.cn.gov.cn.kgltb.cn http://www.morning.sjli222.cn.gov.cn.sjli222.cn http://www.morning.qtltg.cn.gov.cn.qtltg.cn http://www.morning.xhqr.cn.gov.cn.xhqr.cn http://www.morning.xdpjf.cn.gov.cn.xdpjf.cn http://www.morning.lzqdd.cn.gov.cn.lzqdd.cn http://www.morning.qsxxl.cn.gov.cn.qsxxl.cn http://www.morning.piekr.com.gov.cn.piekr.com
