在使用卷积神经网络、循环神经网络等对图像进行深度学习时,一般需要对图像进行预处理,如进行格式转换,TensorFlow一般建议转换为TFRecord格式,它把二进制数据和标签数据存储在同一个文件中,这个格式文件不对数据进行压缩,可以快速加载到内存中。如何把图像转换为TFRecord格式?
在一般参考书上,通过使用TensorFlow自带的函数来生成,如input_data,这个函数一般只限定图像如,MNIST等。如果我们需要处理一般图像,将无法使用该函数。
这里我们介绍一种把图像转换为TFRecord格式的方法,该方法的一般步骤为:

对以上步骤进行详细说明:

1、获取数据
这里找我选了2类小狗的图片, Chihuahua和papillon, 全部 resize成128 * 128大小
保存地址为
/home/hadoop/data/dogs/n02085620-Chihuahua或n02086910-papillon
目录结构如下:

2、制作TFRecord文件
2.1 先讲一下tfrecord, 这是一种将图像数据和标签放在一起的二进制文件,能更好的利用内存,
为存储文件TFRecord
先创建目录: /home/hadoop/data/dogs/output
在tensorflow中快速的复制,移动,读取,存储 等等。
这里注意,tfrecord会根据你选择输入文件的类,自动给每一类打上同样的标签
如在本例中,只有0,1 两类。
2.2 以下是生成TFRecord详细代码:

import os
import tensorflow as tf
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

filepath="/home/hadoop/data/dogs/"
classes={'n02085620-Chihuahua','n02086910-papillon'} #人为 设定 2 类
writer= tf.python_io.TFRecordWriter("/home/hadoop/data/dogs/output/dogs.tfrecords") #要生成的文件

for index,name in enumerate(classes):
class_path=filepath+name+'/'
for img_name in os.listdir(class_path):
img_path=class_path+img_name #每一个图片的地址

img=Image.open(img_path)
img= img.resize((128,128))
img_raw=img.tobytes()#将图片转化为二进制格式
example = tf.train.Example(features=tf.train.Features(feature={
"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),
'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))
})) #example对象对label和image数据进行封装
writer.write(example.SerializeToString()) #序列化为字符串

writer.close()

          tf.Example 协议内存块包含了Features字段,通过feature将图片的二进制数据和label进行统一封装,然后将example协议内存块转化为字符串,  tf.python_io.TFRecordWriter 写入到TFRecords文件中。

 3.读取TFRecord文件

在制作完tfrecord文件后, 将该文件读入到数据流中。

def read_and_decode(filename): # 读入dogs.tfrecords
filename_queue = tf.train.string_input_producer([filename])#生成一个queue队列

reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)#返回文件名和文件
features = tf.parse_single_example(serialized_example,
features={
'label': tf.FixedLenFeature([], tf.int64),
'img_raw' : tf.FixedLenFeature([], tf.string),
})#将image数据和label取出来

img = tf.decode_raw(features['img_raw'], tf.uint8)
img = tf.reshape(img, [128, 128, 3]) #reshape为128*128的3通道图片
img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 #在流中抛出img张量
label = tf.cast(features['label'], tf.int32) #在流中抛出label张量
return img, label

4.显示tfrecord格式的图片

有些时候我们希望检查分类是否有误,或者在之后的网络训练过程中可以监视,输出图片,来观察分类等操作的结果,那么我们就可以session回话中,将tfrecord的图片从流中读取出来,再保存。

filename_queue = tf.train.string_input_producer(["/home/hadoop/data/dogs/output/dogs.tfrecords"]) #读入流中
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue) #返回文件名和文件
features = tf.parse_single_example(serialized_example,
features={
'label': tf.FixedLenFeature([], tf.int64),
'img_raw' : tf.FixedLenFeature([], tf.string),
}) #取出包含image和label的feature对象
image = tf.decode_raw(features['img_raw'], tf.uint8)
image = tf.reshape(image, [128, 128, 3])
label = tf.cast(features['label'], tf.int32)
with tf.Session() as sess: #开始一个会话
#init_op = tf.initialize_all_variables()
init_op=tf.global_variables_initializer()
sess.run(init_op)
coord=tf.train.Coordinator()
threads= tf.train.start_queue_runners(coord=coord)
for i in range(20):
example, l = sess.run([image,label])#在会话中取出image和label
img=Image.fromarray(example, 'RGB')#这里Image是之前提到的
img.save(filepath+str(i)+'_''Label_'+str(l)+'.jpg')#存下图片
print(example, l)
coord.request_stop()
coord.join(threads)

代码运行完后, 将在目录"/home/hadoop/data/dogs"下生成带有标签名称一些文件,具体文件名称如下:

[feigu@webserver dogs]$ ll
total 132
-rwxr-xr-x 1 feigu feigu 4886 Jul 27 22:57 0_Label_0.jpg
-rwxr-xr-x 1 feigu feigu 4507 Jul 27 22:57 10_Label_1.jpg
-rwxr-xr-x 1 feigu feigu 3419 Jul 27 22:57 11_Label_1.jpg
-rwxr-xr-x 1 feigu feigu 4886 Jul 27 22:57 12_Label_0.jpg