faster-rcnn默认的数据集形式有pascal voc、coco和kitti等，然而这些数据集都有固定的形式，就拿pascal voc来说，其每一张图片单独对应一个xml文件，该xml文件用于描述目标位置及种类等，是一个类似于html的文本，需要特定解析才能得到想要的信息！然而，在训练我们自己数据时，并不一定要迎合这种数据格式，很多时候，我们直接使用txt文档里保存的数据提供给到faster-rcnn训练更加方便快捷利落！

在上一篇里，有说到我创建的训练集标签格式如下：

文件路径 类名 真值RPN个数 第一个标注框坐标 第二个标注框坐标 ......

那么如何将自己的数据正确喂给faster-rcnn呢？

这要从分析faster-rcnn里的源代码来说起！

faster-rcnn的训练以train_net.py开始，其中我们主要关注imdb和pascal_voc这两个数据库类，我们主要修改的也是他们的内部接口！

imdb的调用逻辑如下：

imdb = get_imdb(args.imdb_name) --> datasets.pascal_voc(split, year)

其中pascal_voc继承了imdb类，我们主要关注其如下几点：

self._devkit_path ：存放数据的pascal VOC根目录(需要修改)

self._data_path ：存放具体存放图片的路径(需要修改)

self._classes ：包含背景和类别名字的列表(需要修改)

_load_image_set_index(self) ：图片索引(需要修改)

_load_pascal_annotation(self, index) ：根据索引从xml文件拿标注框等，返回一个拥有五个 元素关键字为'boxes'、'gt_classes'、'gt_overlaps'、'flipped'及'seg_areas'的字典

self._roidb_handler ：返回一个包含ground truth roidb的列表，列表的每一个元素均是一个包含五个元素的字典(需要修改)

image_path_from_index(self, index) ：根据索引返回图片路径(需要修改)

image_path_at(self, i) ： image_path_from_index(self, index)的再封装

其中imdb类使用“@property”封装成员函数，使得我们可以直接以点操作来获取接口的使用，那么imdb就包含了对pascal_voc类的进一步封装，关键接口介绍如下：

num_classes(self) ：类别数目，包括背景，return len(self._classes)

classes(self) ：类别列表，return self._classes

image_index(self) ：图片索引，return self._image_index

roidb_handler(self) ：获取roidb数据列表，return self._roidb_handler

roidb(self)：返回元素为字典的列表，return self._roidb

cache_path(self) ：缓存路径，用于存放gt_roidb，通常位于${faster-rcnn}/data/cache目录下，更新数据或修改了数据对接方式后，一定要将cache目录删除，否则不会对roidb更新！

append_flipped_images(self) ：对数据进行flip操作，数据量会翻倍，需要打开cfg.TRAIN.USE_FLIPPED

imdb是pascal_voc的一个实例，而pascal_voc继承imdb类，所以imdb实例可以使用imdb类的对外接口，我们要做数据对接，一定要确保修改如下几点：

1、self._classes要改为我们自己的种类名字，在生成gt_roidb时我们会用到类名来得到对应种类所在的类索引值，然后需要到Faster-RCNN_TF/lib/networks/VGGnet_train.py修改n_classes为总的类别加上背景的数目；

2、gt_roidb(self)需要修改，该接口返回一个其元素为字典的列表，该字典包含五个关键字'boxes'、'gt_classes'、'gt_overlaps'、'flipped'及'seg_areas'，因此我们就是要将txt文本里存放的标注框数据保存到该列表里，其每一个列表元素保存的是每一张图片的标注框信息！我是这样做的，原本代码是使用_load_pascal_annotation(self, index)得到每一张图片的roidb信息再生成一个列表，而我自己封装一个接口，直接获取每一张图片的gt_roidb并返回列表给到gt_roidb接口，代码如下：

def _load_pascal_txt(self):

"""Load image and bounding boxes info from txt file in the personal format."""

gt_roidb = list()

filename = "/home/xsr-ai/Desktop/DetectDogs/enhance/train_lable_rpn.txt"

hd = open(filename, "r")

for line in hd.readlines():

lineinfo = line.split(" ")

num_objs = int(lineinfo[2])

objs = range(num_objs)

boxes = np.zeros((num_objs, 4), dtype=np.uint16)

gt_classes = np.zeros((num_objs), dtype=np.int32)

overlaps = np.zeros((num_objs, self.num_classes), dtype=np.float32)

# "Seg" area for pascal is just the box area

seg_areas = np.zeros((num_objs), dtype=np.float32)

cls = self._mapping_class_to_ind[lineinfo[1]] # 1 col is class, fixed not dynamic

for ix, obj in enumerate(objs):

bbox = lineinfo[3+obj] # roi begin at 3 col

bbox = bbox.split(",")

x1,y1,x2,y2 = [float(pos)-1 if int(pos) >= 1 else float(pos) for pos in bbox]

boxes[ix, :] = [x1, y1, x2, y2]

gt_classes[ix] = cls

overlaps[ix, cls] = 1.0

seg_areas[ix] = (x2 - x1 + 1) * (y2 - y1 + 1)

overlaps = scipy.sparse.csr_matrix(overlaps)

gt_roidb_dict = {'boxes' : boxes,

'gt_classes': gt_classes,

'gt_overlaps' : overlaps,

'flipped' : False,

'seg_areas' : seg_areas}

gt_roidb.append(gt_roidb_dict)

hd.close()

return gt_roidb

3、修改image_path_at(self, i)，确保他所拿到的每一张图片其标注框及类别都与保存在imdb.roidb列表的元素一一对应，这是最主要的！图片的索引index可拿到该图像路径，同时图像索引也能拿到正确的roidb数据，这样的话就能确保每一张图像一一对应到roidb！那么我是怎么做到的呢？其实看第二条代码就会发现，标签文本每一行既存放文件名也包含roidb信息，所以，处理方法是以行号(以0开始)分别生成图片索引及其roidb数据，这样就能确保它们是一一对应的，根据索引获取图片路径的代码如下：

self._linesinfo = list()

self._im_id = self._load_image_set_index()

self._image_index = self._im_id

def image_path_at(self, i):

"""Return the absolute path to image i in the image sequence."""

return self.image_path_from_index(self._image_index[i])

def image_path_from_index(self, index):

"""Construct an image path from the image's "index" identifier."""

im_path = self._linesinfo[index].split(" ")[0]

return im_path

def _load_image_set_index(self):

"""Load the indexes listed in this dataset's image set file."""

# Example path to image set file:

# self._devkit_path + /VOCdevkit2007/VOC2007/ImageSets/Main/val.txt

image_set_file = "/home/xsr-ai/Desktop/DetectDogs/enhance/train_lable_rpn.txt"

assert os.path.exists(image_set_file), \

'Path does not exist:{}'.format(image_set_file)

f = open(image_set_file, "r")

self._linesinfo = f.readlines()

index = len(self._linesinfo)

image_index = [x for x in range(index)]

f.close()

return image_index

至此，我们就可以将自己生成的txt文本标签对接到faster-rcnn模型里进行训练，而不必很麻烦的生成pascal voc格式了！当然，创建自己的imdb只是最关键的一步，我们还需要稍微修改一下faster-rcnn才能跑，我将会再整理一篇文档来说明！