在本示例中，介绍一种two-stage算法(Faster R-CNN)，将目标区域检测和类别识别分为两个任务进行物体检测。本示例采用PyTorch引擎进行模型构建。

如果您已熟练使用Notebook和Github，可以从Github下载样例文件(Faster-R-CNN.ipynb)，然后上传至ModelArts Notebook中直接使用。

创建并打开Notebook在ModelArts管理控制台，进入“开发环境>Notebook”页面，单击左上角的“创建”。

在“创建Notebook”页面，参考表1填写相关信息，然后单击“下一步”。

表1本示例的参数填写说明参数

说明

名称

用户可自定义Notebook实例名称。

自动停止

为避免资源浪费，启用自动停止功能，并选择1小时后自动停止。

工作环境

选择“Multi-Engine 1.0 (python3 推荐)”。

资源池

选“公共资源池”。

类型

选择“GPU”。

规格

选择“GPU: 1*v100NV32 CPU: 8 核 64GiB”，您也可以选择“免费规格”，如果使用“免费规格”，可能会由于使用人数较多导致排队等待。

存储类型

选择“云硬盘(EVS)”，使用默认的5GB磁盘规格即可。

根据界面提示完成Notebook实例创建，单击“返回Notebook列表”。

在“Notebook列表”中，等待Notebook实例创建完成，当状态变为“运行中”时，表示Notebook实例已创建成功。

单击操作列的“打开”，进入Notebook开发环境。

在Jupyter页面，单击“New>PyTorch-1.0.0”，新建一个Pytorch工作环境。

单击左上方的文件名“Untitled”，并输入一个与本示例相关的名称，例如“Faster R-CNN”。

执行如下代码测试开发环境是否可用。在单元格中输入，然后单击“Run”，运行后回显信息如图1所示，表示开发环境可正常使用。print("hello,ModelArts!")

图1测试开发环境

数据准备

首先，执行如下代码将需要的代码和数据下载到Notebook。

本示例使用PASCAL VOC 2007数据集训练模型，共20个类别的物体。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20import os

from modelarts.session import Session

sess = Session()

if sess.region_name == 'cn-north-1':

bucket_path="modelarts-labs/notebook/DL_object_detection_faster/fasterrcnn.tar.gz"

elif sess.region_name == 'cn-north-4':

bucket_path="modelarts-labs-bj4/notebook/DL_object_detection_faster/fasterrcnn.tar.gz"

else:

print("请更换地区到北京一或北京四")

if not os.path.exists('./experiments'):

sess.download_data(bucket_path=bucket_path, path="./fasterrcnn.tar.gz")

if os.path.exists('./fasterrcnn.tar.gz'):

# 解压压缩包

os.system("tar -xf ./fasterrcnn.tar.gz")

# 清理压缩包

os.system("rm -r ./fasterrcnn.tar.gz")

当回显信息出现如下类似信息时，表示数据已导入成功。

Successfully download file modelarts-labs-bj4/notebook/DL_object_detection_faster/fasterrcnn.tar.gz from OBS to local ./fasterrcnn.tar.gz

安装依赖并引用

执行如下命令，等待运行结束。

1

2

3!pip install pycocotools==2.0.0

!pip install torchvision==0.4.0

!pip install protobuf==3.9.0

当出现“Successfully installed...”类似信息时，表示上述命令安装成功。分两个Cell，执行如下示例代码，引用依赖。

1

2

3

4

5

6

7

8

9

10

11import tools._init_paths

%matplotlib inline

from __future__ import absolute_import

from __future__ import division

from __future__ import print_function

import tensorboardX as tb

from datasets.factory import get_imdb

from model.train_val import get_training_roidb, train_net

from model.config import cfg, cfg_from_file, cfg_from_list, get_output_dir, get_output_tb_dir

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15import roi_data_layer.roidb as rdl_roidb

from roi_data_layer.layer import RoIDataLayer

import utils.timer

import pickle

import torch

import torch.optim as optim

from nets.vgg16 import vgg16

import numpy as np

import os

import sys

import glob

import time

神经网络搭建模型训练超参设置

为了减少训练时间，我们在预训练模型的基础上进行训练。这里，我们使用VGG16作为FasterRCNN的主干网络。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18imdb_name = "voc_2007_trainval"

imdbval_name = "voc_2007_test"

# 使用的预训练模型位置

weight = "./data/imagenet_weights/vgg16.pth"

# 训练迭代次数

max_iters = 100

# cfg模型文件位置

cfg_file = './experiments/cfgs/vgg16.yml'

set_cfgs = None

if cfg_file is not None:

cfg_from_file(cfg_file)

if set_cfgs is not None:

cfg_from_list(set_cfgs)

print('Using config:')

print(cfg)

定义读取数据集函数

数据集的标注格式是PASCAL VOC格式。

def combined_roidb(imdb_names):

def get_roidb(imdb_name):

# 加载数据集

imdb = get_imdb(imdb_name)

print('Loaded dataset `{:s}` for training'.format(imdb.name))

# 使用ground truth作为数据集策略

imdb.set_proposal_method(cfg.TRAIN.PROPOSAL_METHOD)

print('Set proposal method: {:s}'.format(cfg.TRAIN.PROPOSAL_METHOD))

roidb = get_training_roidb(imdb)

return roidb

roidbs = [get_roidb(s) for s in imdb_names.split('+')]

roidb = roidbs[0]

if len(roidbs) > 1:

for r in roidbs[1:]:

roidb.extend(r)

tmp = get_imdb(imdb_names.split('+')[1])

imdb = datasets.imdb.imdb(imdb_names, tmp.classes)

else:

imdb = get_imdb(imdb_names)

return imdb, roidb

设置模型训练参数np.random.seed(cfg.RNG_SEED)

# 加载训练数据集

imdb, roidb = combined_roidb(imdb_name)

print('{:d} roidb entries'.format(len(roidb)))

# 设置输出路径

output_dir = get_output_dir(imdb,None)

print('Output will be saved to `{:s}`'.format(output_dir))

# 设置日志保存路径

tb_dir = get_output_tb_dir(imdb, None)

print('TensorFlow summaries will be saved to `{:s}`'.format(tb_dir))

# 加载验证数据集

orgflip = cfg.TRAIN.USE_FLIPPED

cfg.TRAIN.USE_FLIPPED = False

_, valroidb = combined_roidb(imdbval_name)

print('{:d} validation roidb entries'.format(len(valroidb)))

cfg.TRAIN.USE_FLIPPED = orgflip

# 创建backbone网络

# 在案例中使用的是VGG16模型，可以尝试其他不同的模型结构，例如Resnet等

net = vgg16()

运行上述代码后，界面将呈现回显信息，当出现“done”信息时，表示运行结束，请执行下一段。

分3个Cell执行如下3段代码。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15from model.train_val import filter_roidb, SolverWrapper

# 对ROI进行筛选，将无效的ROI数据筛选掉

roidb = filter_roidb(roidb)

valroidb = filter_roidb(valroidb)

sw = SolverWrapper(

net,

imdb,

roidb,

valroidb,

output_dir,

tb_dir,

pretrained_model=weight)

print('Solving...')

1

2# 显示所有模型属性

sw.__dict__.keys()

1

2# sw.net为主干网络

print(sw.net)

定义神经网络结构

使用PyTorch搭建神经网络。

部分实现细节可以去相应的文件夹查看源码。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25# 构建网络结构，模型加入ROI数据层

sw.data_layer = RoIDataLayer(sw.roidb, sw.imdb.num_classes)

sw.data_layer_val = RoIDataLayer(sw.valroidb, sw.imdb.num_classes, random=True)

# 构建网络结构，在VGG16基础上加入ROI和Classifier部分

lr, train_op = sw.construct_graph()

# 加载之前的snapshot

lsf, nfiles, sfiles = sw.find_previous()

# snapshot 为训练提供了断点训练，如果有snapshot将加载进来，继续训练

if lsf == 0:

lr, last_snapshot_iter, stepsizes, np_paths, ss_paths = sw.initialize()

else:

lr, last_snapshot_iter, stepsizes, np_paths, ss_paths = sw.restore(str(sfiles[-1]), str(nfiles[-1]))

iter = last_snapshot_iter + 1

last_summary_time = time.time()

# 在之前的训练基础上继续进行训练

stepsizes.append(max_iters)

stepsizes.reverse()

next_stepsize = stepsizes.pop()

# 将net切换成训练模式

print("网络结构：")

sw.net.train()

sw.net.to(sw.net._device)

开始训练

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56while iter < max_iters + 1:

if iter == next_stepsize + 1:

# 加入snapshot节点

sw.snapshot(iter)

lr *= cfg.TRAIN.GAMMA

scale_lr(sw.optimizer, cfg.TRAIN.GAMMA)

next_stepsize = stepsizes.pop()

utils.timer.timer.tic()

# 数据通过ROI数据层，进行前向计算

blobs = sw.data_layer.forward()

now = time.time()

if iter == 1 or now - last_summary_time > cfg.TRAIN.SUMMARY_INTERVAL:

# 计算loss函数

# 根据loss函数对模型进行训练

rpn_loss_cls, rpn_loss_box, loss_cls, loss_box, total_loss, summary = \

sw.net.train_step_with_summary(blobs, sw.optimizer)

for _sum in summary:

sw.writer.add_summary(_sum, float(iter))

# 进行数据层验证计算

blobs_val = sw.data_layer_val.forward()

summary_val = sw.net.get_summary(blobs_val)

for _sum in summary_val:

sw.valwriter.add_summary(_sum, float(iter))

last_summary_time = now

else:

rpn_loss_cls, rpn_loss_box, loss_cls, loss_box, total_loss = \

sw.net.train_step(blobs, sw.optimizer)

utils.timer.timer.toc()

if iter % (cfg.TRAIN.DISPLAY) == 0:

print('iter:%d/%d, total loss:%.6f\n>>> rpn_loss_cls:%.6f\n'

'>>> rpn_loss_box:%.6f\n>>> loss_cls:%.6f\n>>> loss_box:%.6f\n>>> lr:%f' % \

(iter, max_iters, total_loss, rpn_loss_cls, rpn_loss_box, loss_cls, loss_box, lr))

print('speed: {:.3f}s / iter'.format(

utils.timer.timer.average_time()))

# 进行snapshot存储

if iter % cfg.TRAIN.SNAPSHOT_ITERS == 0:

last_snapshot_iter = iter

ss_path, np_path = sw.snapshot(iter)

np_paths.append(np_path)

ss_paths.append(ss_path)

# 删掉多余的snapshot

if len(np_paths) > cfg.TRAIN.SNAPSHOT_KEPT:

sw.remove_snapshot(np_paths, ss_paths)

iter += 1

if last_snapshot_iter != iter - 1:

sw.snapshot(iter - 1)

sw.writer.close()

sw.valwriter.close()

测试部分

在这部分中，我们利用训练得到的模型进行推理测试。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22%matplotlib inline

from __future__ import absolute_import

from __future__ import division

from __future__ import print_function

# 将路径转入lib

import tools._init_paths

from model.config import cfg

from model.test import im_detect

from torchvision.ops import nms

from utils.timer import Timer

import matplotlib.pyplot as plt

import numpy as np

import os, cv2

import argparse

from nets.vgg16 import vgg16

from nets.resnet_v1 import resnetv1

from model.bbox_transform import clip_boxes, bbox_transform_inv

import torch

参数定义

1

2

3

4

5

6

7

8

9

10

11# PASCAL VOC类别设置

CLASSES = ('__background__',

'aeroplane', 'bicycle', 'bird', 'boat',

'bottle', 'bus', 'car', 'cat', 'chair',

'cow', 'diningtable', 'dog', 'horse',

'motorbike', 'person', 'pottedplant',

'sheep', 'sofa', 'train', 'tvmonitor')

# 网络模型文件名定义

NETS = {'vgg16': ('vgg16_faster_rcnn_iter_%d.pth',),'res101': ('res101_faster_rcnn_iter_%d.pth',)}

# 数据集文件名定义

DATASETS= {'pascal_voc': ('voc_2007_trainval',),'pascal_voc_0712': ('voc_2007_trainval+voc_2012_trainval',)}

结果绘制

将预测的标签和边界框绘制在原图上。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29def vis_detections(im, class_dets, thresh=0.5):

"""Draw detected bounding boxes."""

im = im[:, :, (2, 1, 0)]

fig, ax = plt.subplots(figsize=(12, 12))

ax.imshow(im, aspect='equal')

for class_name in class_dets:

dets = class_dets[class_name]

inds = np.where(dets[:, -1] >= thresh)[0]

if len(inds) == 0:

continue

for i in inds:

bbox = dets[i, :4]

score = dets[i, -1]

ax.add_patch(

plt.Rectangle((bbox[0], bbox[1]),

bbox[2] - bbox[0],

bbox[3] - bbox[1], fill=False,

edgecolor='red', linewidth=3.5)

)

ax.text(bbox[0], bbox[1] - 2,

'{:s} {:.3f}'.format(class_name, score),

bbox=dict(facecolor='blue', alpha=0.5),

fontsize=14, color='white')

plt.axis('off')

plt.tight_layout()

plt.draw()

准备测试图片

我们将测试图片传到test文件夹下，我们准备了两张图片进行测试，大家也可以通过notebook的upload按钮上传自己的测试数据。注意，测试数据需要是图片，并且放在test文件夹下。

1test_file = "./test"

模型推理

这里我们加载一个预先训练好的模型，也可以选择案例中训练的模型。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66import cv2

from utils.timer import Timer

from model.test import im_detect

from torchvision.ops import nms

cfg.TEST.HAS_RPN = True # Use RPN for proposals

# 模型存储位置

# 这里我们加载一个已经训练110000迭代之后的模型，可以选择自己的训练模型位置

saved_model = "./models/vgg16-voc0712/vgg16_faster_rcnn_iter_110000.pth"

print('trying to load weights from ', saved_model)

# 加载backbone

net = vgg16()

# 构建网络

net.create_architecture(21, tag='default', anchor_scales=[8, 16, 32])

# 加载权重文件

net.load_state_dict(torch.load(saved_model, map_location=lambda storage, loc: storage))

net.eval()

# 选择推理设备

net.to(net._device)

print('Loaded network {:s}'.format(saved_model))

for file in os.listdir(test_file):

if file.startswith("._") == False:

file_path = os.path.join(test_file, file)

print(file_path)

# 打开测试图片文件

im = cv2.imread(file_path)

# 定义计时器

timer = Timer()

timer.tic()

# 检测得到图片ROI

scores, boxes = im_detect(net, im)

print(scores.shape, boxes.shape)

timer.toc()

print('Detection took {:.3f}s for {:d} object proposals'.format(timer.total_time(), boxes.shape[0]))

# 定义阈值

CONF_THRESH = 0.7

NMS_THRESH = 0.3

cls_dets = {}

# NMS 非极大值抑制操作，过滤边界框

for cls_ind, cls in enumerate(CLASSES[1:]):

cls_ind += 1 # 跳过 background

cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]

cls_scores = scores[:, cls_ind]

dets = np.hstack((cls_boxes,

cls_scores[:, np.newaxis])).astype(np.float32)

keep = nms(torch.from_numpy(cls_boxes), torch.from_numpy(cls_scores), NMS_THRESH)

dets = dets[keep.numpy(), :]

if len(dets) > 0:

if cls in cls_dets:

cls_dets[cls] = np.vstack([cls_dets[cls], dets])

else:

cls_dets[cls] = dets

vis_detections(im, cls_dets, thresh=CONF_THRESH)

plt.show()

运行结束后，测试图片的预测效果如下图所示。

trying to load weights from ./models/vgg16-voc0712/vgg16_faster_rcnn_iter_110000.pth

Loaded network ./models/vgg16-voc0712/vgg16_faster_rcnn_iter_110000.pth

./test/test_image_1.jpg

(300, 21) (300, 84)

Detection took 0.055s for 300 object proposals

./test/test_image_0.jpg

(300, 21) (300, 84)

Detection took 0.058s for 300 object proposals