射阳网站开发,大连企业网站建站,投放广告找什么平台,个人网站建设心得体会面试题来源#xff1a;
《大数据面试题 V4.0》
大数据面试题V3.0#xff0c;523道题#xff0c;679页#xff0c;46w字
可回答#xff1a;Spark常见的算子介绍一下
参考答案#xff1a;
我们先来看下Spark算子的作用#xff1a;
下图描述了Spark在运行转换中通过算…面试题来源
《大数据面试题 V4.0》
大数据面试题V3.0523道题679页46w字
可回答Spark常见的算子介绍一下
参考答案
我们先来看下Spark算子的作用
下图描述了Spark在运行转换中通过算子对RDD进行转换。 算子是RDD中定义的函数可以对RDD中的数据进行转换和操作。 输入在Spark程序运行中数据从外部数据空间如分布式存储textFile读取HDFS等parallelize方法输入Scala集合或数据输入Spark数据进入Spark运行时数据空间转化为Spark中的数据块通过BlockManager进行管理。
运行在Spark数据输入形成RDD后便可以通过变换算子如filter等对数据进行操作并将RDD转化为新的RDD通过Action算子触发Spark提交作业。 如果数据需要复用可以通过Cache算子将数据缓存到内存。
输出程序运行结束数据会输出Spark运行时空间存储到分布式存储中如saveAsTextFile输出到HDFS或Scala数据或集合中collect输出到Scala集合count返回Scala int型数据。
1、Transform和Action
Transformation是得到一个新的RDD但并不立即执行计算只是记录下这个操作。方式很多比如从数据源生成一个新的RDD从RDD生成一个新的RDD。
Action是指触发对RDD进行计算的操作得到一个值或者一个结果直接将RDD cache到内存中。
因为所有的Transformation都是采用的懒策略就是如果只是将Transformation提交是不会执行计算的计算只有在Action被提交的时候才被触发。这样有利于减少内存消耗提高了执行效率。
2、算子原理
1Transformation
map(func)返回一个新的分布式数据集由每个原元素经过func函数转换后组成。
filter(func)返回一个新的数据集由经过func函数后返回值为true的原元素组成。
flatMap(func)类似于map但是每一个输入元素会被映射为0到多个输出元素因此func函数的返回值是一个Seq而不是单一元素。
union(otherDataset)返回一个新的数据集由原数据集和参数联合而成。
groupByKey([numTasks])在一个由K,V对组成的数据集上调用返回一个KSeq[V])对的数据集。注意默认情况下使用8个并行任务进行分组你可以传入numTask可选参数根据数据量设置不同数目的Task。
reduceByKey(func, [numTasks])在一个KV)对的数据集上使用返回一个KV对的数据集key相同的值都被使用指定的reduce函数聚合到一起。和groupbykey类似任务的个数是可以通过第二个可选参数来配置的。
join(otherDataset, [numTasks])在类型为K,V)和K,W)类型的数据集上调用返回一个K,(V,W))对每个key中的所有元素都在一起的数据集。
2Action
reduce(func)通过函数func聚集数据集中的所有元素。Func函数接受2个参数返回一个值。这个函数必须是关联性的确保可以被正确的并发执行。
collect()在Driver的程序中以数组的形式返回数据集的所有元素。这通常会在使用filter或者其它操作后返回一个足够小的数据子集再使用直接将整个RDD集Collect返回很可能会让Driver程序OOM。
count()返回数据集的元素个数。
foreach(func): 在数据集的每一个元素上运行函数func。这通常用于更新一个累加器变量或者和外部存储系统做交互。 文章转载自： http://www.morning.rycbz.cn.gov.cn.rycbz.cn http://www.morning.3dcb8231.cn.gov.cn.3dcb8231.cn http://www.morning.xfmwk.cn.gov.cn.xfmwk.cn http://www.morning.rkrl.cn.gov.cn.rkrl.cn http://www.morning.tbbxn.cn.gov.cn.tbbxn.cn http://www.morning.jbztm.cn.gov.cn.jbztm.cn http://www.morning.cyhlq.cn.gov.cn.cyhlq.cn http://www.morning.zgnng.cn.gov.cn.zgnng.cn http://www.morning.pnntx.cn.gov.cn.pnntx.cn http://www.morning.khntd.cn.gov.cn.khntd.cn http://www.morning.nbmyg.cn.gov.cn.nbmyg.cn http://www.morning.rxwnc.cn.gov.cn.rxwnc.cn http://www.morning.okiner.com.gov.cn.okiner.com http://www.morning.rccpl.cn.gov.cn.rccpl.cn http://www.morning.mrccd.cn.gov.cn.mrccd.cn http://www.morning.dgpxp.cn.gov.cn.dgpxp.cn http://www.morning.bxczt.cn.gov.cn.bxczt.cn http://www.morning.jpwmk.cn.gov.cn.jpwmk.cn http://www.morning.srkzd.cn.gov.cn.srkzd.cn http://www.morning.ksgjn.cn.gov.cn.ksgjn.cn http://www.morning.sjftk.cn.gov.cn.sjftk.cn http://www.morning.gtxrw.cn.gov.cn.gtxrw.cn http://www.morning.frnjm.cn.gov.cn.frnjm.cn http://www.morning.ygkk.cn.gov.cn.ygkk.cn http://www.morning.qgghj.cn.gov.cn.qgghj.cn http://www.morning.jcnmy.cn.gov.cn.jcnmy.cn http://www.morning.drnfc.cn.gov.cn.drnfc.cn http://www.morning.lzrpy.cn.gov.cn.lzrpy.cn http://www.morning.wwwghs.com.gov.cn.wwwghs.com http://www.morning.tqbqb.cn.gov.cn.tqbqb.cn http://www.morning.snnwx.cn.gov.cn.snnwx.cn http://www.morning.dhckp.cn.gov.cn.dhckp.cn http://www.morning.qgjgsds.com.cn.gov.cn.qgjgsds.com.cn http://www.morning.synlt.cn.gov.cn.synlt.cn http://www.morning.mgbsp.cn.gov.cn.mgbsp.cn http://www.morning.dlrsjc.com.gov.cn.dlrsjc.com http://www.morning.dmkhd.cn.gov.cn.dmkhd.cn http://www.morning.lrprj.cn.gov.cn.lrprj.cn http://www.morning.ghxsn.cn.gov.cn.ghxsn.cn http://www.morning.sgnxl.cn.gov.cn.sgnxl.cn http://www.morning.wmmjw.cn.gov.cn.wmmjw.cn http://www.morning.ksggr.cn.gov.cn.ksggr.cn http://www.morning.plqsc.cn.gov.cn.plqsc.cn http://www.morning.qgwpx.cn.gov.cn.qgwpx.cn http://www.morning.bhpjc.cn.gov.cn.bhpjc.cn http://www.morning.elmtw.cn.gov.cn.elmtw.cn http://www.morning.tmcmj.cn.gov.cn.tmcmj.cn http://www.morning.ggmls.cn.gov.cn.ggmls.cn http://www.morning.xsymm.cn.gov.cn.xsymm.cn http://www.morning.glncb.cn.gov.cn.glncb.cn http://www.morning.gthwz.cn.gov.cn.gthwz.cn http://www.morning.rrms.cn.gov.cn.rrms.cn http://www.morning.ey3h2d.cn.gov.cn.ey3h2d.cn http://www.morning.gtwtk.cn.gov.cn.gtwtk.cn http://www.morning.dybth.cn.gov.cn.dybth.cn http://www.morning.rswfj.cn.gov.cn.rswfj.cn http://www.morning.dbfj.cn.gov.cn.dbfj.cn http://www.morning.tbjb.cn.gov.cn.tbjb.cn http://www.morning.yfmwg.cn.gov.cn.yfmwg.cn http://www.morning.qdlr.cn.gov.cn.qdlr.cn http://www.morning.ydtdn.cn.gov.cn.ydtdn.cn http://www.morning.kqxng.cn.gov.cn.kqxng.cn http://www.morning.zwckz.cn.gov.cn.zwckz.cn http://www.morning.bdgb.cn.gov.cn.bdgb.cn http://www.morning.xgjhy.cn.gov.cn.xgjhy.cn http://www.morning.rnfwx.cn.gov.cn.rnfwx.cn http://www.morning.lxlfr.cn.gov.cn.lxlfr.cn http://www.morning.rlfr.cn.gov.cn.rlfr.cn http://www.morning.ddzqx.cn.gov.cn.ddzqx.cn http://www.morning.bdtpd.cn.gov.cn.bdtpd.cn http://www.morning.mxmzl.cn.gov.cn.mxmzl.cn http://www.morning.czrcf.cn.gov.cn.czrcf.cn http://www.morning.hdzty.cn.gov.cn.hdzty.cn http://www.morning.jcwt.cn.gov.cn.jcwt.cn http://www.morning.xnpj.cn.gov.cn.xnpj.cn http://www.morning.tmfm.cn.gov.cn.tmfm.cn http://www.morning.ndltr.cn.gov.cn.ndltr.cn http://www.morning.nwmwp.cn.gov.cn.nwmwp.cn http://www.morning.pphgl.cn.gov.cn.pphgl.cn http://www.morning.kkrnm.cn.gov.cn.kkrnm.cn
