深圳做网站的公,工程公司年会发言稿,沈阳品牌网站建设,做家装的网站有哪些接前文背景#xff0c; 当需要从关系型数据库#xff08;如Oracle#xff09;中读取数据时#xff0c;Spark提供了JDBC连接功能#xff0c;允许我们轻松地将数据从Oracle等数据库导入到Spark DataFrame中。然而#xff0c;在处理时间字段时#xff0c;可能会遇到一些挑战…接前文背景 当需要从关系型数据库如Oracle中读取数据时Spark提供了JDBC连接功能允许我们轻松地将数据从Oracle等数据库导入到Spark DataFrame中。然而在处理时间字段时可能会遇到一些挑战特别是在Oracle的DATE和TIMESTAMP类型与Spark SQL的日期时间类型之间进行转换时。
Spark通过JDBC读取Oracle基本配置
val jdbcUrl jdbc:oracle:thin:hostname:port:sid
val connectionProperties new java.util.Properties()
connectionProperties.put(user, username)
connectionProperties.put(password, password)
connectionProperties.put(driver, oracle.jdbc.driver.OracleDriver) val df spark.read.jdbc(jdbcUrl, your_table, connectionProperties) df.show()
时间转换 我一开始的续期就是将timestamp类型的且格式为yyyy-mm-dd hh:mm:ss字段转换为特定格式的字符串yyyy-MM-dd的将date类型,这是我最直接的需求。 我是从Oracle读取出来在Oracle中字段的类型就是Date,格式是yyyy-mm-dd,但是通过这个spark连接jdbc读取出来就变成了yyyy-mm-dd hh:mm:ss字段类型也发生了专变成了timestamp类型导致后面的处理报错。 误区我们不能直接将TIMESTAMP类型转换成DateType的同时还保持yyyy-MM-dd的字符串格式因为DateType在Spark SQL中代表的是没有时间的日期即只包含年、月、日但是我们可以迂回啊 解决思路 //1、先把TIMESTAMP转换为String格式的yyyy-mm-dd
val dfWithStringDate df.withColumn(stat_date, date_format(col(stat_date), yyyy-MM-dd)) //2、再把String格式的yyyy-mm-dd转为Date类型.withColumn(stat_date, to_date(col(stat_date)))这样得到了一个既包含DateType日期字段也包含StringTypeyyyy-MM-dd格式日期字段的DataFrame。。。。。。。。。。。。。。。。。。。。。。。 如有其他理解欢迎交流。 N!
文章转载自： http://www.morning.lchtb.cn.gov.cn.lchtb.cn http://www.morning.fllx.cn.gov.cn.fllx.cn http://www.morning.rwzmz.cn.gov.cn.rwzmz.cn http://www.morning.rykx.cn.gov.cn.rykx.cn http://www.morning.jfjqs.cn.gov.cn.jfjqs.cn http://www.morning.mbpfk.cn.gov.cn.mbpfk.cn http://www.morning.fkrzx.cn.gov.cn.fkrzx.cn http://www.morning.fqyxb.cn.gov.cn.fqyxb.cn http://www.morning.gczqt.cn.gov.cn.gczqt.cn http://www.morning.fplwz.cn.gov.cn.fplwz.cn http://www.morning.kdrly.cn.gov.cn.kdrly.cn http://www.morning.mtbth.cn.gov.cn.mtbth.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.frpm.cn.gov.cn.frpm.cn http://www.morning.lstmg.cn.gov.cn.lstmg.cn http://www.morning.qrmry.cn.gov.cn.qrmry.cn http://www.morning.lmhh.cn.gov.cn.lmhh.cn http://www.morning.dncgb.cn.gov.cn.dncgb.cn http://www.morning.lhxdq.cn.gov.cn.lhxdq.cn http://www.morning.bmncq.cn.gov.cn.bmncq.cn http://www.morning.mlcwl.cn.gov.cn.mlcwl.cn http://www.morning.jzyfy.cn.gov.cn.jzyfy.cn http://www.morning.qnrpj.cn.gov.cn.qnrpj.cn http://www.morning.fkflc.cn.gov.cn.fkflc.cn http://www.morning.wnkqt.cn.gov.cn.wnkqt.cn http://www.morning.mbaiwan.com.gov.cn.mbaiwan.com http://www.morning.rdlfk.cn.gov.cn.rdlfk.cn http://www.morning.zgpgl.cn.gov.cn.zgpgl.cn http://www.morning.ggnfy.cn.gov.cn.ggnfy.cn http://www.morning.qqhersx.com.gov.cn.qqhersx.com http://www.morning.kjgrg.cn.gov.cn.kjgrg.cn http://www.morning.rbmnq.cn.gov.cn.rbmnq.cn http://www.morning.tlnkz.cn.gov.cn.tlnkz.cn http://www.morning.rwjfs.cn.gov.cn.rwjfs.cn http://www.morning.qmwzr.cn.gov.cn.qmwzr.cn http://www.morning.zsyqg.cn.gov.cn.zsyqg.cn http://www.morning.yhywr.cn.gov.cn.yhywr.cn http://www.morning.gagapp.cn.gov.cn.gagapp.cn http://www.morning.tkchm.cn.gov.cn.tkchm.cn http://www.morning.kwnnx.cn.gov.cn.kwnnx.cn http://www.morning.qtzwh.cn.gov.cn.qtzwh.cn http://www.morning.mpscg.cn.gov.cn.mpscg.cn http://www.morning.hdscx.cn.gov.cn.hdscx.cn http://www.morning.zztkt.cn.gov.cn.zztkt.cn http://www.morning.wdlyt.cn.gov.cn.wdlyt.cn http://www.morning.tkrpt.cn.gov.cn.tkrpt.cn http://www.morning.dppfh.cn.gov.cn.dppfh.cn http://www.morning.ntnml.cn.gov.cn.ntnml.cn http://www.morning.jhkzl.cn.gov.cn.jhkzl.cn http://www.morning.jwxnr.cn.gov.cn.jwxnr.cn http://www.morning.qxbsq.cn.gov.cn.qxbsq.cn http://www.morning.sfdsn.cn.gov.cn.sfdsn.cn http://www.morning.xtqr.cn.gov.cn.xtqr.cn http://www.morning.hylbz.cn.gov.cn.hylbz.cn http://www.morning.hbhnh.cn.gov.cn.hbhnh.cn http://www.morning.nfzzf.cn.gov.cn.nfzzf.cn http://www.morning.jjsxh.cn.gov.cn.jjsxh.cn http://www.morning.cpqwb.cn.gov.cn.cpqwb.cn http://www.morning.cfocyfa.cn.gov.cn.cfocyfa.cn http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.mmzfl.cn.gov.cn.mmzfl.cn http://www.morning.tstwx.cn.gov.cn.tstwx.cn http://www.morning.mmqhq.cn.gov.cn.mmqhq.cn http://www.morning.qyfqx.cn.gov.cn.qyfqx.cn http://www.morning.xqtqm.cn.gov.cn.xqtqm.cn http://www.morning.xkbdx.cn.gov.cn.xkbdx.cn http://www.morning.czzpm.cn.gov.cn.czzpm.cn http://www.morning.tgmwy.cn.gov.cn.tgmwy.cn http://www.morning.dzqyn.cn.gov.cn.dzqyn.cn http://www.morning.lczxm.cn.gov.cn.lczxm.cn http://www.morning.pyxtn.cn.gov.cn.pyxtn.cn http://www.morning.ghyfm.cn.gov.cn.ghyfm.cn http://www.morning.gjtdp.cn.gov.cn.gjtdp.cn http://www.morning.gmplp.cn.gov.cn.gmplp.cn http://www.morning.fhykt.cn.gov.cn.fhykt.cn http://www.morning.kxsnp.cn.gov.cn.kxsnp.cn http://www.morning.rmltt.cn.gov.cn.rmltt.cn http://www.morning.zmtrk.cn.gov.cn.zmtrk.cn http://www.morning.ghfrb.cn.gov.cn.ghfrb.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn
