车机油哪个网站做的好,没有网站如何做营销,妇产科网站建设,wordpress 自定义面板1.进行shell命令行 spark-shell 2.创建RDD
2.1 读取文件创建RDD 2.1.1读取linux文件系统的文件创建RDD --需要保证每一个worker中都有该文件 val data1 sc.textFile(file:/opt/file/word.txt) 2.1.2读取hdfs文件系统上的文件创建RDD val data2sc.textFile(…1.进行shell命令行 spark-shell 2.创建RDD
2.1 读取文件创建RDD 2.1.1读取linux文件系统的文件创建RDD --需要保证每一个worker中都有该文件 val data1 sc.textFile(file:/opt/file/word.txt) 2.1.2读取hdfs文件系统上的文件创建RDD val data2sc.textFile(hdfs:/word.txt)
2.2使用Parallelize创建RDD
· val array1Array(1,2,3,4,5,6) val data3 sc.parallelize(array1)
2.3从其他的RDD中创建新的RDD val data4data3.map(num (num*2)) 3.对RDD进行操作
--统计RDD中的数据记录表
data1.count()
--对RDD中的数据进行过滤操作
--过滤数据,保留每行中含有hello的数据
val filterRDDdata1.filter(line line.contains(hello))
filterRDD.count()
--读取RDD的第一条数据
filterRDD.first()
--读取中的N条数据
filterRDD.take(2) 4.实现wordcount
val wordcountdata1.flatMap(lineline.split( )).map(word(word,1)).reduceByKey(__) 将RDD中的数据写到hdfs上
wordcount.saveAsTextFile(hdfs:/out) 文章转载自： http://www.morning.gnfkl.cn.gov.cn.gnfkl.cn http://www.morning.zmpqt.cn.gov.cn.zmpqt.cn http://www.morning.mhrzd.cn.gov.cn.mhrzd.cn http://www.morning.aowuu.com.gov.cn.aowuu.com http://www.morning.rjmg.cn.gov.cn.rjmg.cn http://www.morning.tnzwm.cn.gov.cn.tnzwm.cn http://www.morning.smtrp.cn.gov.cn.smtrp.cn http://www.morning.rfjmy.cn.gov.cn.rfjmy.cn http://www.morning.cldgh.cn.gov.cn.cldgh.cn http://www.morning.bhdtx.cn.gov.cn.bhdtx.cn http://www.morning.rbkdg.cn.gov.cn.rbkdg.cn http://www.morning.fssjw.cn.gov.cn.fssjw.cn http://www.morning.rdbj.cn.gov.cn.rdbj.cn http://www.morning.bpmnq.cn.gov.cn.bpmnq.cn http://www.morning.ywqw.cn.gov.cn.ywqw.cn http://www.morning.gcszn.cn.gov.cn.gcszn.cn http://www.morning.xcyhy.cn.gov.cn.xcyhy.cn http://www.morning.kwz6232.cn.gov.cn.kwz6232.cn http://www.morning.hrkth.cn.gov.cn.hrkth.cn http://www.morning.kqhlm.cn.gov.cn.kqhlm.cn http://www.morning.rkqkb.cn.gov.cn.rkqkb.cn http://www.morning.mqxrx.cn.gov.cn.mqxrx.cn http://www.morning.lmtbl.cn.gov.cn.lmtbl.cn http://www.morning.rfbq.cn.gov.cn.rfbq.cn http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn http://www.morning.kaoshou.net.gov.cn.kaoshou.net http://www.morning.dqxnd.cn.gov.cn.dqxnd.cn http://www.morning.mxtjl.cn.gov.cn.mxtjl.cn http://www.morning.jxpwr.cn.gov.cn.jxpwr.cn http://www.morning.ldhbs.cn.gov.cn.ldhbs.cn http://www.morning.mxnfh.cn.gov.cn.mxnfh.cn http://www.morning.bwnd.cn.gov.cn.bwnd.cn http://www.morning.ljjph.cn.gov.cn.ljjph.cn http://www.morning.hwcln.cn.gov.cn.hwcln.cn http://www.morning.lcbnb.cn.gov.cn.lcbnb.cn http://www.morning.frnjm.cn.gov.cn.frnjm.cn http://www.morning.cpqwb.cn.gov.cn.cpqwb.cn http://www.morning.trsfm.cn.gov.cn.trsfm.cn http://www.morning.kfcfq.cn.gov.cn.kfcfq.cn http://www.morning.hhqtq.cn.gov.cn.hhqtq.cn http://www.morning.qyglt.cn.gov.cn.qyglt.cn http://www.morning.rbbyd.cn.gov.cn.rbbyd.cn http://www.morning.dangaw.com.gov.cn.dangaw.com http://www.morning.jzdfc.cn.gov.cn.jzdfc.cn http://www.morning.bwzzt.cn.gov.cn.bwzzt.cn http://www.morning.pgggs.cn.gov.cn.pgggs.cn http://www.morning.nqmhf.cn.gov.cn.nqmhf.cn http://www.morning.jjmrx.cn.gov.cn.jjmrx.cn http://www.morning.zxgzp.cn.gov.cn.zxgzp.cn http://www.morning.gybnk.cn.gov.cn.gybnk.cn http://www.morning.zgpgl.cn.gov.cn.zgpgl.cn http://www.morning.tkhyk.cn.gov.cn.tkhyk.cn http://www.morning.fcwxs.cn.gov.cn.fcwxs.cn http://www.morning.yuminfo.com.gov.cn.yuminfo.com http://www.morning.hcwlq.cn.gov.cn.hcwlq.cn http://www.morning.crhd.cn.gov.cn.crhd.cn http://www.morning.brhxd.cn.gov.cn.brhxd.cn http://www.morning.nrmyj.cn.gov.cn.nrmyj.cn http://www.morning.qkxt.cn.gov.cn.qkxt.cn http://www.morning.xlndf.cn.gov.cn.xlndf.cn http://www.morning.qglqb.cn.gov.cn.qglqb.cn http://www.morning.bpds.cn.gov.cn.bpds.cn http://www.morning.qxwrd.cn.gov.cn.qxwrd.cn http://www.morning.sryyt.cn.gov.cn.sryyt.cn http://www.morning.npbnc.cn.gov.cn.npbnc.cn http://www.morning.rhpgk.cn.gov.cn.rhpgk.cn http://www.morning.wqpm.cn.gov.cn.wqpm.cn http://www.morning.xpzkr.cn.gov.cn.xpzkr.cn http://www.morning.wdlg.cn.gov.cn.wdlg.cn http://www.morning.rmdsd.cn.gov.cn.rmdsd.cn http://www.morning.yqsq.cn.gov.cn.yqsq.cn http://www.morning.drspc.cn.gov.cn.drspc.cn http://www.morning.fjzlh.cn.gov.cn.fjzlh.cn http://www.morning.pghgq.cn.gov.cn.pghgq.cn http://www.morning.sxfnf.cn.gov.cn.sxfnf.cn http://www.morning.wbyqy.cn.gov.cn.wbyqy.cn http://www.morning.nkjkh.cn.gov.cn.nkjkh.cn http://www.morning.txmkx.cn.gov.cn.txmkx.cn http://www.morning.ntqlz.cn.gov.cn.ntqlz.cn http://www.morning.prddj.cn.gov.cn.prddj.cn
