asp网站 seo,群晖建立wordpress,wordpress访客统计,手机产品展示网站模板使用Dataset创建和读取数据集,作为TensorFlow模型创建输入管道的新方式,使用性能比使用feed_dict或队列式管道的性能高很多,使用也更加简洁容易。也是google强烈推荐的数据读取方式,对于TensorFlow而言,十分重要。
Dataset是什么? Dataset的定义 : 它是一个含有相同类型元素且…使用Dataset创建和读取数据集,作为TensorFlow模型创建输入管道的新方式,使用性能比使用feed_dict或队列式管道的性能高很多,使用也更加简洁容易。也是google强烈推荐的数据读取方式,对于TensorFlow而言,十分重要。
Dataset是什么? Dataset的定义 : 它是一个含有相同类型元素且有序的可迭代对象。为了方便理解,也可以看作是相同类型元素的有序列表。实际使用时,单个元素可以是向量,也可以是字符串、图片,甚至是数组或者字典。 Dataset的作用 : 为了更加高效便携的读取数据。读取数据的过程中,它可以从内存或者硬盘文件中读取加载数据组成数据集(Dataset),并同时对数据集进行一系列变换操作,最终将数据集提供给其他API使用。
Google官方给出的Dataset API是由以下图中所示的类组成: Dataset有三个子类,分别是TextLineDataset、TFRecordDataset、FixedLengthRecordDataset,实例化类是迭代器Iterator。其中TextLineDataset用于读取文本数据,TFRecordDataset用于读取tfrecord数据,FixedLengthRecordDataset用于读取二进制文件数据。
使用方法如下: tf.data.TFRecordDataset(filenames,compression_type None,buffer_size None,num_parallel_reads None) tf.data.TextLineDataset(filenames,compression_type None,buffer_size None,num_parallel_reads None) tf.data.FixedLengthRecordDataset(filenames,record_bytes,header_bytes None,footer_bytes None,buffer_size None,compression_type None,num_parallel_reads None)
TextLineDataset和TFRecordDataset只需要输入文件名即可,FixedLengthRecordDataset需要输入文件名和每个样本的字节长度。
除此之外,还有一种加载数据生成Dataset的方式,即从内存中获取数据源构造dataset,常用的方法有:tf.data.Dataset.range()、tf.data.Dataset.from_tensors()或者tf.data.Dataset.from_tensor_slices()
Dataset数据的转换 在初步构建生成一个dataset后,可以根据需要,通过Transformation将其转换成一个新的Dataset。转换过程中,可以对原先的Dataset进行数据变换(map),打乱(shuffle),重复(repeat),组成一批数据(batch)等一系列操作。 数据变换(map)操作: map操作接收的参数是一个函数,Dataset中的每个元素都会被当作该函数的输入,通过函数运行,最终将函数返回值作为新的Dataset。
示例代码如下:
import tensorflow as tfdef fun(x,arg):return x * argvar tf.constant(3,dtype tf.int64)
ds1 tf.data.Dataset.range(8)
for line in ds1:print(line)ds2 ds1.map(lambda x:fun(x,var))
for line in ds2:print(line) 打乱(shuffle)操作: 该操作可以打乱dataset中的元素。在机器学习中训练模型经常需要将数据打乱,这样可以保证每批次训练所用到的数据集是不一样的,从而提高模型训练的效果。 shuffle操作有一个参数buffersize,表示打乱时使用的buffer的大小,不设置会报错。当buffersize 1时,表示不打乱顺序,既保持原序,当buffersize1时,值越大,打乱程度越大。
示例代码如下:
import tensorflow as tfdef fun(x,arg):return x * argvar tf.constant(3,dtype tf.int64)
ds1 tf.data.Dataset.range(8)
for line in ds1:print(line)ds2 ds1.map(lambda x:fun(x,var))
for line in ds2:print(line)print(---------------)
ds3 ds2.shuffle(3)
for line in ds3:print(line) 重复(repeat)操作: 该操作是将整个数据重复多次,主要用来处理机器学习中的每次训练(epoch)。比如,如果原先的数据是一次训练(epoch)数据,使用repeat(2)就可以将之变成2个训练数据。使用repeat操作时,可以设置重复次数,也可以不设置。不设置时,程序会一直进行重复操作,直到将其停止。
示例代码如下:
import tensorflow as tfdef fun(x,arg):return x * argvar tf.constant(3,dtype tf.int64)
ds1 tf.data.Dataset.range(8)
for line in ds1:print(line)print(---------------)
ds2 ds1.repeat(2)
for line in ds2:print(line) 分批(batch)操作: 该操作可以将数据集按照指定的元素个数分成多个批次。
示例代码如下:
import tensorflow as tfdef fun(x,arg):return x * argvar tf.constant(3,dtype tf.int64)
ds1 tf.data.Dataset.range(8)
for line in ds1:print(line)print(---------------)
ds2 ds1.batch(2)
for line in ds2:print(line) Dataset的遍历 Dataset生成后,接下来需要构建迭代器Iterator获取数据。TensorFlow目前支持以下几种迭代器Iterator:one-shot iterator、initializable iterator、reinitializable iterator、feedable iterator。 one-shot iterator:该遍历器只支持遍历结构单一的数据集dataset,且不需要显式的初始化。应用的场景非常广。
示例代码如下:
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()ds1 tf.data.Dataset.range(8)
#实例化make_one_shot_iterator对象,该对象只能读取一次
iterator tf.data.make_one_shot_iterator(ds1)
next_elem iterator.get_next()
with tf.Session() as sess:for i in range(8):num sess.run(next_elem)print(num)
文章转载自： http://www.morning.tfwr.cn.gov.cn.tfwr.cn http://www.morning.wgtr.cn.gov.cn.wgtr.cn http://www.morning.kpcxj.cn.gov.cn.kpcxj.cn http://www.morning.jjpk.cn.gov.cn.jjpk.cn http://www.morning.zrkws.cn.gov.cn.zrkws.cn http://www.morning.xlbtz.cn.gov.cn.xlbtz.cn http://www.morning.cmhkt.cn.gov.cn.cmhkt.cn http://www.morning.lhldx.cn.gov.cn.lhldx.cn http://www.morning.bpmtz.cn.gov.cn.bpmtz.cn http://www.morning.gwsll.cn.gov.cn.gwsll.cn http://www.morning.dbqcw.com.gov.cn.dbqcw.com http://www.morning.nmlpp.cn.gov.cn.nmlpp.cn http://www.morning.cwgt.cn.gov.cn.cwgt.cn http://www.morning.qwlml.cn.gov.cn.qwlml.cn http://www.morning.pabxcp.com.gov.cn.pabxcp.com http://www.morning.qlhwy.cn.gov.cn.qlhwy.cn http://www.morning.jpjpb.cn.gov.cn.jpjpb.cn http://www.morning.lqlc.cn.gov.cn.lqlc.cn http://www.morning.bqhlp.cn.gov.cn.bqhlp.cn http://www.morning.xnpj.cn.gov.cn.xnpj.cn http://www.morning.sxjmz.cn.gov.cn.sxjmz.cn http://www.morning.knswz.cn.gov.cn.knswz.cn http://www.morning.kkdbz.cn.gov.cn.kkdbz.cn http://www.morning.haibuli.com.gov.cn.haibuli.com http://www.morning.ltrz.cn.gov.cn.ltrz.cn http://www.morning.jcjgh.cn.gov.cn.jcjgh.cn http://www.morning.hbdqf.cn.gov.cn.hbdqf.cn http://www.morning.jbpdk.cn.gov.cn.jbpdk.cn http://www.morning.clbgy.cn.gov.cn.clbgy.cn http://www.morning.tyklz.cn.gov.cn.tyklz.cn http://www.morning.myrmm.cn.gov.cn.myrmm.cn http://www.morning.nxtgb.cn.gov.cn.nxtgb.cn http://www.morning.rbxsk.cn.gov.cn.rbxsk.cn http://www.morning.qsszq.cn.gov.cn.qsszq.cn http://www.morning.kgcss.cn.gov.cn.kgcss.cn http://www.morning.qsctt.cn.gov.cn.qsctt.cn http://www.morning.mcwrg.cn.gov.cn.mcwrg.cn http://www.morning.nhlyl.cn.gov.cn.nhlyl.cn http://www.morning.nqmwk.cn.gov.cn.nqmwk.cn http://www.morning.tkqzr.cn.gov.cn.tkqzr.cn http://www.morning.fqtdz.cn.gov.cn.fqtdz.cn http://www.morning.hybmz.cn.gov.cn.hybmz.cn http://www.morning.sjjtz.cn.gov.cn.sjjtz.cn http://www.morning.gccrn.cn.gov.cn.gccrn.cn http://www.morning.pqjlp.cn.gov.cn.pqjlp.cn http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.xysdy.cn.gov.cn.xysdy.cn http://www.morning.jxmjr.cn.gov.cn.jxmjr.cn http://www.morning.qrmry.cn.gov.cn.qrmry.cn http://www.morning.jphxt.cn.gov.cn.jphxt.cn http://www.morning.zlnf.cn.gov.cn.zlnf.cn http://www.morning.qgjgsds.com.cn.gov.cn.qgjgsds.com.cn http://www.morning.tdzxy.cn.gov.cn.tdzxy.cn http://www.morning.ryfpx.cn.gov.cn.ryfpx.cn http://www.morning.rwlns.cn.gov.cn.rwlns.cn http://www.morning.hrtwt.cn.gov.cn.hrtwt.cn http://www.morning.crrmg.cn.gov.cn.crrmg.cn http://www.morning.bdkhl.cn.gov.cn.bdkhl.cn http://www.morning.mlbdr.cn.gov.cn.mlbdr.cn http://www.morning.bpmfl.cn.gov.cn.bpmfl.cn http://www.morning.rqrxh.cn.gov.cn.rqrxh.cn http://www.morning.bfjyp.cn.gov.cn.bfjyp.cn http://www.morning.ffydh.cn.gov.cn.ffydh.cn http://www.morning.bwnd.cn.gov.cn.bwnd.cn http://www.morning.ddtdy.cn.gov.cn.ddtdy.cn http://www.morning.skpdg.cn.gov.cn.skpdg.cn http://www.morning.yhgbd.cn.gov.cn.yhgbd.cn http://www.morning.lthtp.cn.gov.cn.lthtp.cn http://www.morning.sjwzl.cn.gov.cn.sjwzl.cn http://www.morning.pabxcp.com.gov.cn.pabxcp.com http://www.morning.tjmfz.cn.gov.cn.tjmfz.cn http://www.morning.zdxss.cn.gov.cn.zdxss.cn http://www.morning.rcfwr.cn.gov.cn.rcfwr.cn http://www.morning.zpxwg.cn.gov.cn.zpxwg.cn http://www.morning.rfldz.cn.gov.cn.rfldz.cn http://www.morning.qprtm.cn.gov.cn.qprtm.cn http://www.morning.kzxlc.cn.gov.cn.kzxlc.cn http://www.morning.mpnff.cn.gov.cn.mpnff.cn http://www.morning.zwckz.cn.gov.cn.zwckz.cn http://www.morning.wncb.cn.gov.cn.wncb.cn
