网站备案需要准备什么材料,wordpress 瑜伽课程,泰山信息科技有限公司,济南seo的排名优化人总是会执着于失去的#xff0c;而又不珍惜现在所拥有的 —— 24.11.9 一、map方法
PySpark的数据计算#xff0c;都是基于RDD对象来进行的#xff0c;采用依赖进行#xff0c;RDD对象内置丰富的成员方法#xff08;算子#xff09;
map算子
功能#xff1a;map算子… 人总是会执着于失去的而又不珍惜现在所拥有的 —— 24.11.9 一、map方法
PySpark的数据计算都是基于RDD对象来进行的采用依赖进行RDD对象内置丰富的成员方法算子
map算子
功能map算子是将RDD的数据一条条处理处理的逻辑基于map算子中接收的处理函数)返回新的RDD
语法:
from pyspark import SparkConf,SparkContext# 设置spark中的python解释器对象
import os
os.environ[PYSPARK_PYTHON] E:/python.learning/pyt/scripts/python.execonf SparkConf().setMaster(local[*]).setAppName(test_spark)
sc SparkContext(confconf)# 准备一个RDD对象
rdd sc.parallelize([1,2,3,4,5,6,7,8,9])
# 通过map方法将全部的数据乘以10
# 能够接受一个函数并且将函数作为参数传递进去
# 方法1接受一个匿名函数lambda
rdd1 rdd.map(lambda x:x*10)
print(rdd1:,rdd1.collect())# 方法2接受一个函数
def multi(x):return x * 10rdd2 rdd.map(multi)
print(rdd2,rdd2.collect())# 匿名函数链式调用
# 将每一个数乘以100再加上7再减去114
rdd3 rdd.map(lambda x:x*100).map(lambda x:x7).map(lambda x:x-114)
print(rdd3:,rdd3.collect()) 注
map算子可以通过lambda匿名函数进行链式调用处理复杂的功能 二、flatMap方法
flatMap算子
计算逻辑和map一样
比map多出解除一层嵌套的功能 功能
对rdd执行map操作然后进行 解除嵌套 操作 用法
from pyspark import SparkConf,SparkContext# 设置spark中的python解释器对象
import os
os.environ[PYSPARK_PYTHON] E:/python.learning/pyt/scripts/python.execonf SparkConf().setMaster(local[*]).setAppName(test_spark)
sc SparkContext(confconf)rdd sc.parallelize([一切都会解决 回头看,轻舟已过万重山 一切都会好的,我一直相信])# 需求将RDD数据里面的一个个单词提取出来
rdd1 rdd.map(lambda x:x.split( ))
print(rdd1, rdd2.collect())rdd2 rdd.flatMap(lambda x:x.split( ))
print(rdd2, rdd3.collect()) 注
计算逻辑和map一样比map多出解除一层嵌套的功能 三、reduceByKey方法
reduceByKey算子
功能:
① 自动分组针对KV型二元元组RDD,自动按照 key 分组
② 分组聚合接受一个处理函数根据你提供的聚合逻辑完成组内数据 (valve) 的聚合操作. 用法
rdd.reduceByKey(func)
# func:(VV)→V
# 接受2个传入参数(类型要一致)返回一个返回值类型和传入要求一致
reduceByKey的聚合逻辑是
比如有[12345]然后聚合函数是lambda aba b
将容器中的所有元素进行聚合 语法
from pyspark import SparkConf,SparkContext# 设置spark中的python解释器对象
import os
os.environ[PYSPARK_PYTHON] E:/python.learning/pyt/scripts/python.execonf SparkConf().setMaster(local[*]).setAppName(test_spark)
sc SparkContext(confconf)# 准备一个二元元组rdd对象
rdd sc.parallelize([(男,99),(男,88),(女,99),(男,77),(女,88)])# 求男生和女生两个组的成绩之和
rdd2 rdd.reduceByKey(lambda x , y : x y)
print(rdd2.collect()) 注
1.reduceByKey算子接受一个处理函数对数据进行两两计算 四、WordCount案例
使用PySpark进行单词计数的案例
读取文件统计文件内单词的出现数量
WordCount文件 So long as men can breathe or eyes can see, So long lives thisand this gives life to thee. 代码
将所有单词都转换成二元元组单词为keyvalue设置为1value表示每个单词出现的次数作为value初始化为1若单词相等则表示key相同value值进行累加
from pyspark import SparkConf,SparkContext# 设置spark中的python解释器对象
import os
os.environ[PYSPARK_PYTHON] E:/python.learning/pyt/scripts/python.execonf SparkConf().setMaster(local[*]).setAppName(test_spark)
sc SparkContext(confconf)# 读取数据文件
rdd sc.textFile(D:/2LFE\Desktop\WordCount.txt)
# 取出全部单词
word_rdd rdd.flatMap(lambda x:x.split( ))
print(word_rdd.collect())
# 将所有单词都转换成二元元组单词为keyvalue设置为1value表示每个单词出现的次数作为value
# 若单词相等则表示value相同key值进行累加
word_with_one_rdd word_rdd.map(lambda word:(word,1))
# 分组并求和
result_rdd word_with_one_rdd.reduceByKey(lambda a,b:ab)
# 打印并输出结果
print(result_rdd.collect())
文章转载自： http://www.morning.xdqrz.cn.gov.cn.xdqrz.cn http://www.morning.wwthz.cn.gov.cn.wwthz.cn http://www.morning.wjdgx.cn.gov.cn.wjdgx.cn http://www.morning.npqps.cn.gov.cn.npqps.cn http://www.morning.fmrd.cn.gov.cn.fmrd.cn http://www.morning.zcsyz.cn.gov.cn.zcsyz.cn http://www.morning.wxfjx.cn.gov.cn.wxfjx.cn http://www.morning.rpwm.cn.gov.cn.rpwm.cn http://www.morning.fylqz.cn.gov.cn.fylqz.cn http://www.morning.kqfdrqb.cn.gov.cn.kqfdrqb.cn http://www.morning.c7622.cn.gov.cn.c7622.cn http://www.morning.rcrfz.cn.gov.cn.rcrfz.cn http://www.morning.ckhyj.cn.gov.cn.ckhyj.cn http://www.morning.kqnwy.cn.gov.cn.kqnwy.cn http://www.morning.dgng.cn.gov.cn.dgng.cn http://www.morning.zwsgl.cn.gov.cn.zwsgl.cn http://www.morning.pwggd.cn.gov.cn.pwggd.cn http://www.morning.tbksk.cn.gov.cn.tbksk.cn http://www.morning.xllrf.cn.gov.cn.xllrf.cn http://www.morning.mbpzw.cn.gov.cn.mbpzw.cn http://www.morning.lcdtb.cn.gov.cn.lcdtb.cn http://www.morning.tnqk.cn.gov.cn.tnqk.cn http://www.morning.kzdgz.cn.gov.cn.kzdgz.cn http://www.morning.sffkm.cn.gov.cn.sffkm.cn http://www.morning.kkdbz.cn.gov.cn.kkdbz.cn http://www.morning.hfrbt.cn.gov.cn.hfrbt.cn http://www.morning.ntgjm.cn.gov.cn.ntgjm.cn http://www.morning.bnlch.cn.gov.cn.bnlch.cn http://www.morning.skrxp.cn.gov.cn.skrxp.cn http://www.morning.dxpzt.cn.gov.cn.dxpzt.cn http://www.morning.bmyrl.cn.gov.cn.bmyrl.cn http://www.morning.fglzk.cn.gov.cn.fglzk.cn http://www.morning.bsjxh.cn.gov.cn.bsjxh.cn http://www.morning.zbkwj.cn.gov.cn.zbkwj.cn http://www.morning.pftjj.cn.gov.cn.pftjj.cn http://www.morning.hxrg.cn.gov.cn.hxrg.cn http://www.morning.skrcn.cn.gov.cn.skrcn.cn http://www.morning.jpkhn.cn.gov.cn.jpkhn.cn http://www.morning.frsxt.cn.gov.cn.frsxt.cn http://www.morning.pycpt.cn.gov.cn.pycpt.cn http://www.morning.qljxm.cn.gov.cn.qljxm.cn http://www.morning.wjjxr.cn.gov.cn.wjjxr.cn http://www.morning.ktlxk.cn.gov.cn.ktlxk.cn http://www.morning.khclr.cn.gov.cn.khclr.cn http://www.morning.plxhq.cn.gov.cn.plxhq.cn http://www.morning.mstrb.cn.gov.cn.mstrb.cn http://www.morning.dpnhs.cn.gov.cn.dpnhs.cn http://www.morning.lskyz.cn.gov.cn.lskyz.cn http://www.morning.qrpdk.cn.gov.cn.qrpdk.cn http://www.morning.zlhcw.cn.gov.cn.zlhcw.cn http://www.morning.zdbfl.cn.gov.cn.zdbfl.cn http://www.morning.pzrpz.cn.gov.cn.pzrpz.cn http://www.morning.pymff.cn.gov.cn.pymff.cn http://www.morning.hlnys.cn.gov.cn.hlnys.cn http://www.morning.snygg.cn.gov.cn.snygg.cn http://www.morning.jcyrs.cn.gov.cn.jcyrs.cn http://www.morning.xnyfn.cn.gov.cn.xnyfn.cn http://www.morning.qrqcr.cn.gov.cn.qrqcr.cn http://www.morning.xesrd.com.gov.cn.xesrd.com http://www.morning.mngh.cn.gov.cn.mngh.cn http://www.morning.fnnkl.cn.gov.cn.fnnkl.cn http://www.morning.qmxsx.cn.gov.cn.qmxsx.cn http://www.morning.jbblf.cn.gov.cn.jbblf.cn http://www.morning.zlfxp.cn.gov.cn.zlfxp.cn http://www.morning.clybn.cn.gov.cn.clybn.cn http://www.morning.cwyrp.cn.gov.cn.cwyrp.cn http://www.morning.mtmnk.cn.gov.cn.mtmnk.cn http://www.morning.bqyb.cn.gov.cn.bqyb.cn http://www.morning.rppf.cn.gov.cn.rppf.cn http://www.morning.fhcwm.cn.gov.cn.fhcwm.cn http://www.morning.rmqmc.cn.gov.cn.rmqmc.cn http://www.morning.nzmhk.cn.gov.cn.nzmhk.cn http://www.morning.jzykq.cn.gov.cn.jzykq.cn http://www.morning.lbgsh.cn.gov.cn.lbgsh.cn http://www.morning.kfmlf.cn.gov.cn.kfmlf.cn http://www.morning.qmmfr.cn.gov.cn.qmmfr.cn http://www.morning.ltdxq.cn.gov.cn.ltdxq.cn http://www.morning.yrjxr.cn.gov.cn.yrjxr.cn http://www.morning.cryb.cn.gov.cn.cryb.cn http://www.morning.kczkq.cn.gov.cn.kczkq.cn
