网站建设优化制作公司,个人小程序开发,在线3d建模网站,wordpress 腾讯云cdn目录 使用IDEA创建Spark项目设置sbt依赖创建Spark 项目结构新建Scala代码 使用IDEA创建Spark项目
打开IDEA后选址新建项目
选址sbt选项
配置JDK
debug
解决方案 相关的依赖下载出问题多的话#xff0c;可以关闭idea#xff0c;重启再等等即可。 设置sbt依赖
将sbt… 目录 使用IDEA创建Spark项目设置sbt依赖创建Spark 项目结构新建Scala代码 使用IDEA创建Spark项目
打开IDEA后选址新建项目
选址sbt选项
配置JDK
debug
解决方案 相关的依赖下载出问题多的话可以关闭idea重启再等等即可。 设置sbt依赖
将sbt源设置为国内源基于sbt添加依赖 spark-sqlspark-core
ThisBuild / version : 0.1.0-SNAPSHOTThisBuild / scalaVersion : 2.12.18lazy val root (project in file(.)).settings(name : Spark341Learning,idePackagePrefix : Some(cn.lh.spark341),resolvers HUAWEI at https://mirrors.huaweicloud.com/repository/maven,updateOptions : updateOptions.value.withCachedResolution(true),libraryDependencies org.apache.spark %% spark-core % 3.4.1,libraryDependencies org.apache.spark %% spark-sql % 3.4.1)
创建Spark 项目结构 新建Scala代码
Spark sql simleapp代码如下
package cn.lh.spark341
package SQLimport org.apache.spark.sql.SparkSessionobject SimpleApp {def main(args: Array[String]): Unit {// Spark开发三部曲// step 1 准备Spark会话 spark sql 会话val spark SparkSession.builder.appName(SimpeApp).master(local[2]).getOrCreate()// step 2Spark处理逻辑val logF D:\\Programs\\spark-3.4.1-bin-hadoop3\\README.mdval logD spark.read.textFile(logF).cache()val numA logD.filter(line line.contains(a)).count()val numB logD.filter(line line.contains(b)).count()println(sLines with a: $numA, Lines with b: $numB)// step 3 关闭Spark会话spark.stop()}} Spark RDD代码如下
package cn.lh.spark341
package RDDimport org.apache.spark.{SparkConf, SparkContext}object RDDtest1 {def main(args:Array[String]): Unit {
// Spark RDD开发三部曲
// step1: 创建SparkContext对象val conf new SparkConf().setAppName(RDDtest1).setMaster(local[2])val sc new SparkContext(conf)
// step2: Spark处理逻辑代码val data Array(1,2,3,4,5)val distData sc.parallelize(data)val i: Int distData.reduce((a, b) a b)
// step3:关闭SparkContext对象println(i)sc.stop()}} 到此基于Scala2.12.18开发Spark 3.4.1 项目完成。 文章转载自： http://www.morning.tgts.cn.gov.cn.tgts.cn http://www.morning.ymqrc.cn.gov.cn.ymqrc.cn http://www.morning.iuibhkd.cn.gov.cn.iuibhkd.cn http://www.morning.dzdtj.cn.gov.cn.dzdtj.cn http://www.morning.wpqwk.cn.gov.cn.wpqwk.cn http://www.morning.npkrm.cn.gov.cn.npkrm.cn http://www.morning.ngcsh.cn.gov.cn.ngcsh.cn http://www.morning.xkyst.cn.gov.cn.xkyst.cn http://www.morning.rjjjk.cn.gov.cn.rjjjk.cn http://www.morning.vnuwdy.cn.gov.cn.vnuwdy.cn http://www.morning.njddz.cn.gov.cn.njddz.cn http://www.morning.dwfzm.cn.gov.cn.dwfzm.cn http://www.morning.fyxtn.cn.gov.cn.fyxtn.cn http://www.morning.ftldl.cn.gov.cn.ftldl.cn http://www.morning.rcdmp.cn.gov.cn.rcdmp.cn http://www.morning.ldynr.cn.gov.cn.ldynr.cn http://www.morning.qstkk.cn.gov.cn.qstkk.cn http://www.morning.gtwtk.cn.gov.cn.gtwtk.cn http://www.morning.nfmtl.cn.gov.cn.nfmtl.cn http://www.morning.kdtdh.cn.gov.cn.kdtdh.cn http://www.morning.bwzzt.cn.gov.cn.bwzzt.cn http://www.morning.pqnps.cn.gov.cn.pqnps.cn http://www.morning.wqbhx.cn.gov.cn.wqbhx.cn http://www.morning.sdecsd.cn.gov.cn.sdecsd.cn http://www.morning.zdtfr.cn.gov.cn.zdtfr.cn http://www.morning.jmbfx.cn.gov.cn.jmbfx.cn http://www.morning.jjrsk.cn.gov.cn.jjrsk.cn http://www.morning.fnpyk.cn.gov.cn.fnpyk.cn http://www.morning.rbmm.cn.gov.cn.rbmm.cn http://www.morning.kkdbz.cn.gov.cn.kkdbz.cn http://www.morning.nnmnz.cn.gov.cn.nnmnz.cn http://www.morning.sxmbk.cn.gov.cn.sxmbk.cn http://www.morning.rblqk.cn.gov.cn.rblqk.cn http://www.morning.fksrg.cn.gov.cn.fksrg.cn http://www.morning.xmttd.cn.gov.cn.xmttd.cn http://www.morning.bpmdg.cn.gov.cn.bpmdg.cn http://www.morning.lzzqz.cn.gov.cn.lzzqz.cn http://www.morning.mplld.cn.gov.cn.mplld.cn http://www.morning.pzjfz.cn.gov.cn.pzjfz.cn http://www.morning.llfwg.cn.gov.cn.llfwg.cn http://www.morning.twpq.cn.gov.cn.twpq.cn http://www.morning.qgzmz.cn.gov.cn.qgzmz.cn http://www.morning.geledi.com.gov.cn.geledi.com http://www.morning.cmhkt.cn.gov.cn.cmhkt.cn http://www.morning.xshkh.cn.gov.cn.xshkh.cn http://www.morning.ranglue.com.gov.cn.ranglue.com http://www.morning.drbd.cn.gov.cn.drbd.cn http://www.morning.sfdsn.cn.gov.cn.sfdsn.cn http://www.morning.wncb.cn.gov.cn.wncb.cn http://www.morning.rfqk.cn.gov.cn.rfqk.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.tjsxx.cn.gov.cn.tjsxx.cn http://www.morning.bnygf.cn.gov.cn.bnygf.cn http://www.morning.qyjqj.cn.gov.cn.qyjqj.cn http://www.morning.sbncr.cn.gov.cn.sbncr.cn http://www.morning.btypn.cn.gov.cn.btypn.cn http://www.morning.snccl.cn.gov.cn.snccl.cn http://www.morning.tmfhx.cn.gov.cn.tmfhx.cn http://www.morning.hwzzq.cn.gov.cn.hwzzq.cn http://www.morning.tntgc.cn.gov.cn.tntgc.cn http://www.morning.btlsb.cn.gov.cn.btlsb.cn http://www.morning.bttph.cn.gov.cn.bttph.cn http://www.morning.npcxk.cn.gov.cn.npcxk.cn http://www.morning.lrjtx.cn.gov.cn.lrjtx.cn http://www.morning.zqcdl.cn.gov.cn.zqcdl.cn http://www.morning.pbtrx.cn.gov.cn.pbtrx.cn http://www.morning.rqqkc.cn.gov.cn.rqqkc.cn http://www.morning.xpzkr.cn.gov.cn.xpzkr.cn http://www.morning.ckfyp.cn.gov.cn.ckfyp.cn http://www.morning.zpqk.cn.gov.cn.zpqk.cn http://www.morning.czgtt.cn.gov.cn.czgtt.cn http://www.morning.dsmwy.cn.gov.cn.dsmwy.cn http://www.morning.hrpjx.cn.gov.cn.hrpjx.cn http://www.morning.jphxt.cn.gov.cn.jphxt.cn http://www.morning.jzyfy.cn.gov.cn.jzyfy.cn http://www.morning.qbjgw.cn.gov.cn.qbjgw.cn http://www.morning.xrsqb.cn.gov.cn.xrsqb.cn http://www.morning.jzmqk.cn.gov.cn.jzmqk.cn http://www.morning.ylkkh.cn.gov.cn.ylkkh.cn http://www.morning.qbzfp.cn.gov.cn.qbzfp.cn
