TensorFlow中读数据三种方法
在tensorflow中读数据一般有三种方法：
使用placeholder读内存中的数据
使用queue读硬盘中的数据
使用dataset读内存个硬盘中的数据
基本概率
由于第三种方法在语法上更简洁，因此本文主要介绍第三种方法。官方给出的dataset api类图：
image.png
其中终于重要的两个基础类：dateset和iterator。dateset是具有相同类型的“元素”的有序表，元素可以是向量、字符串、图片等。
从内存中创建dataset
以数字元素为例：
例1
从dataset中实例化一个iterator，然后对iterator进行迭代。
iterator = dataset.make_one_shot_iterator()
从dataset中实例化一个iterator，是“one shot iterator”，即只能从头到尾读取一次。
one_element = iterator.get_next()
从iterator中取出一个元素， one_element是一个tensor，因此需要调用sess.run(one_element)取出值。
如果元素被读取完了，再sess.run(one_element)会抛出tf.errors.outofrangeerror异常。解决方法：使用 dataset.repeat()
更复杂的输入形式，例如，在图像识别的应用中，一个元素可以使{“image”：image_tensor， “label”：lable_tensor}
dataset = tf.data.dataset.from_tensor_slices( { a: np.array([1.0, 2.0, 3.0, 4.0, 5.0]), b: np.random.uniform(size=(5, 2)) } )
最终dataset中的一个元素为{a: 1.0, b: [0.9, 0.1]}的形式。或者
dataset = tf.data.dataset.from_tensor_slices( (np.array([1.0, 2.0, 3.0, 4.0, 5.0]), np.random.uniform(size=(5, 2))) )
对dataset中的元素做变换：transformation
一个dataset通过transformation变成一个新的dataset。常用的操作有：
map
batch
shuffle
repeat
下面分别来介绍以上几个操作。（1）mapmap接收一个函数，dataset中的每个元素都可以作为这个函数的输入，并将函数的返回值作为新的dataset，例如：
dataset = tf.data.dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0])) dataset = dataset.map(lambda x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0
（2）batch将多个元素组合成batch，例如：
dataset = dataset.batch(32)
（3）shuffle打乱dataset中的元素，参数buffersize表示打乱时buffer的大小。
dataset = dataset.shuffle(buffer_size=10000)
（4）repeat将整个序列重复多次，只用用来处理epoch。如果直接调用repeat()的话，生成的序列就会无限重复下去，没有结束，因此也不会抛出。tf.errors.outofrangeerror异常：
dataset = dataset.repeat(5)
例子：读磁盘图片与对应的label
读入磁盘中的图片和图片相应的label，并将其打乱，组成batch_size=32的训练样本。在训练时重复10个epoch。
# 函数的功能时将filename对应的图片文件读进来，并缩放到统一的大小def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_image(image_string) image_resized = tf.image.resize_images(image_decoded, [28, 28]) return image_resized, label# 图片文件的列表filenames = tf.constant([/var/data/image1.jpg, /var/data/image2.jpg, ...])# label[i]就是图片filenames[i]的labellabels = tf.constant([0, 37, ...])# 此时dataset中的一个元素是(filename, label)dataset = tf.data.dataset.from_tensor_slices((filenames, labels))# 此时dataset中的一个元素是(image_resized, label)dataset = dataset.map(_parse_function)# 此时dataset中的一个元素是(image_resized_batch, label_batch)dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)# 此时dataset中的一个元素是(image_resized_batch, label_batch)# image_resized_batch的形状为(32, 28, 28, 3)， label_batch的形状为(32, )
小米6外形曝光:陶瓷机身+双曲面屏,颜值劲爆!
混合动力汽车的最大挑战是电池
FPGA的设计基础之Verilog语言
物联网的发展有什么突破
自主品牌车型中可的“贵族阶层”，深度体验荣威550 1.8AT启臻版两个月
TensorFlow中读数据三种方法
益思芯科技签署CLA协议并正式加入欧拉开源社区
基于PXIBox5442的光伏逆变器实时仿真方案
台湾工研院开发出MEMS传感器酒测手表，可检测酒精浓度让你行车更安全
CONSISTEL 推出企业室内无线网络软件 -- ATRI
利用有源RFID标签和BLE技术，实时追踪变得容易
基于D类技术和产品在便携式产品中的应用优势
超过20款VR游戏总收入超100万美元 越来越多的用户加入虚拟现实社区
第12代酷睿Alder Lake主要特征揭晓
自动驾驶领头羊Waymo One最大的问题在于需安全员启动并驾驶车辆
Anker推出新品Soundcore Liberty Air 2 Pro耳机
目前国内机器人发展存在三大困境，人机协作被广泛关注有以下几点原因
GTC08L可替代启攀微八通道CP2528、CP2682
第三方兼容万兆单模光模块SFP-10G-LR：高速长距离数据传输性价比之选
CW32 低电压检测器介绍
使用placeholder读内存中的数据
使用queue读硬盘中的数据
使用dataset读内存个硬盘中的数据
基本概率
由于第三种方法在语法上更简洁，因此本文主要介绍第三种方法。官方给出的dataset api类图：
image.png
其中终于重要的两个基础类：dateset和iterator。dateset是具有相同类型的“元素”的有序表，元素可以是向量、字符串、图片等。
从内存中创建dataset
以数字元素为例：
例1
从dataset中实例化一个iterator，然后对iterator进行迭代。
iterator = dataset.make_one_shot_iterator()
从dataset中实例化一个iterator，是“one shot iterator”，即只能从头到尾读取一次。
one_element = iterator.get_next()
从iterator中取出一个元素， one_element是一个tensor，因此需要调用sess.run(one_element)取出值。
如果元素被读取完了，再sess.run(one_element)会抛出tf.errors.outofrangeerror异常。解决方法：使用 dataset.repeat()
更复杂的输入形式，例如，在图像识别的应用中，一个元素可以使{“image”：image_tensor， “label”：lable_tensor}
dataset = tf.data.dataset.from_tensor_slices( { a: np.array([1.0, 2.0, 3.0, 4.0, 5.0]), b: np.random.uniform(size=(5, 2)) } )
最终dataset中的一个元素为{a: 1.0, b: [0.9, 0.1]}的形式。或者
dataset = tf.data.dataset.from_tensor_slices( (np.array([1.0, 2.0, 3.0, 4.0, 5.0]), np.random.uniform(size=(5, 2))) )
对dataset中的元素做变换：transformation
一个dataset通过transformation变成一个新的dataset。常用的操作有：
map
batch
shuffle
repeat
下面分别来介绍以上几个操作。（1）mapmap接收一个函数，dataset中的每个元素都可以作为这个函数的输入，并将函数的返回值作为新的dataset，例如：
dataset = tf.data.dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0])) dataset = dataset.map(lambda x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0
（2）batch将多个元素组合成batch，例如：
dataset = dataset.batch(32)
（3）shuffle打乱dataset中的元素，参数buffersize表示打乱时buffer的大小。
dataset = dataset.shuffle(buffer_size=10000)
（4）repeat将整个序列重复多次，只用用来处理epoch。如果直接调用repeat()的话，生成的序列就会无限重复下去，没有结束，因此也不会抛出。tf.errors.outofrangeerror异常：
dataset = dataset.repeat(5)
例子：读磁盘图片与对应的label
读入磁盘中的图片和图片相应的label，并将其打乱，组成batch_size=32的训练样本。在训练时重复10个epoch。
# 函数的功能时将filename对应的图片文件读进来，并缩放到统一的大小def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_image(image_string) image_resized = tf.image.resize_images(image_decoded, [28, 28]) return image_resized, label# 图片文件的列表filenames = tf.constant([/var/data/image1.jpg, /var/data/image2.jpg, ...])# label[i]就是图片filenames[i]的labellabels = tf.constant([0, 37, ...])# 此时dataset中的一个元素是(filename, label)dataset = tf.data.dataset.from_tensor_slices((filenames, labels))# 此时dataset中的一个元素是(image_resized, label)dataset = dataset.map(_parse_function)# 此时dataset中的一个元素是(image_resized_batch, label_batch)dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)# 此时dataset中的一个元素是(image_resized_batch, label_batch)# image_resized_batch的形状为(32, 28, 28, 3)， label_batch的形状为(32, )
小米6外形曝光:陶瓷机身+双曲面屏,颜值劲爆!
混合动力汽车的最大挑战是电池
FPGA的设计基础之Verilog语言
物联网的发展有什么突破
自主品牌车型中可的“贵族阶层”，深度体验荣威550 1.8AT启臻版两个月
TensorFlow中读数据三种方法
益思芯科技签署CLA协议并正式加入欧拉开源社区
基于PXIBox5442的光伏逆变器实时仿真方案
台湾工研院开发出MEMS传感器酒测手表，可检测酒精浓度让你行车更安全
CONSISTEL 推出企业室内无线网络软件 -- ATRI
利用有源RFID标签和BLE技术，实时追踪变得容易
基于D类技术和产品在便携式产品中的应用优势
超过20款VR游戏总收入超100万美元 越来越多的用户加入虚拟现实社区
第12代酷睿Alder Lake主要特征揭晓
自动驾驶领头羊Waymo One最大的问题在于需安全员启动并驾驶车辆
Anker推出新品Soundcore Liberty Air 2 Pro耳机
目前国内机器人发展存在三大困境，人机协作被广泛关注有以下几点原因
GTC08L可替代启攀微八通道CP2528、CP2682
第三方兼容万兆单模光模块SFP-10G-LR：高速长距离数据传输性价比之选
CW32 低电压检测器介绍