#

#作者：韦访

#博客：https://blog.csdn.net/rookie_wei

#微信：1007895847

#添加微信的备注一下是CSDN的

#欢迎大家一起学习

#

------韦访 20190525

1、概述

这次我们先不讲原理，先在Github上拿个源码来跑，有感觉以后，再去分析它的工作原理和源码，所以这一讲我们先来个初探人体姿态检测。先来说说什么是人体姿态检测吧，

如上图所示，简单的说，就是检测出人体的双眼，鼻子，耳朵，双肩，双臂，臀部，膝盖等等关键点，然后再将这个关键点有序的连接起来，形成人的“骨架”。

2、源码下载

先把源码下载下来，下载完后，源码的大概结构如下图所示，

3、安装

一般看这种开源项目，先看看它的README文档说些什么，如果里面有安装使用说明，按照它的要求做就好了，来看这个项目的文档，

跟着做就好了，假设我们源码已经下载好了，cd到源码根目录了，然后执行，

sudo pip3 install -r requirements.txt

上面的命令就是通过pip安装一些需要的Python第三方库，

如果pycocotools库安装失败，则执行下面的命令安装，

sudo pip3 install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI

接着，

cd tf_pose/pafprocess

swig -python -c++ pafprocess.i && python3 setup.py build_ext --inplace

然后去下载cmu模型的pb文件，

cd models/graph/cmu

bash download.sh

最后，电脑插上摄像头，在项目的根目录执行，

python run_webcam.py --model=mobilenet_thin --resize=432x368 --camera=0

运行结果如下，

我这渣渣摄像头总算又派上用场了～

4、run_webcam.py源码

我们来看一下run_webcam.py的源码，先找到main函数，

if __name__ == '__main__':

parser = argparse.ArgumentParser(description='tf-pose-estimation realtime webcam')

parser.add_argument('--camera', type=int, default=0)

parser.add_argument('--resize', type=str, default='0x0',

help='if provided, resize images before they are processed. default=0x0, Recommends : 432x368 or 656x368 or 1312x736 ')

parser.add_argument('--resize-out-ratio', type=float, default=4.0,

help='if provided, resize heatmaps before they are post-processed. default=1.0')

parser.add_argument('--model', type=str, default='mobilenet_thin', help='cmu / mobilenet_thin / mobilenet_v2_large / mobilenet_v2_small')

parser.add_argument('--show-process', type=bool, default=False,

help='for debug purpose, if enabled, speed for inference is dropped.')

args = parser.parse_args()

如上代码所示，一堆参数，我们大概看一下，camera参数，指定哪个摄像头，如果你是土豪的话，电脑有很多个摄像头，就可以指定使用哪个摄像头，只有一个的话就是0，resize参数，应该是调整要输出的图像的大小，resize-out-ratio参数，看它的help，resize heatmaps，我们先假装不知道这个heatmaps是什么东西，用它默认值就好了，model参数，这里有4个选项，应该是指定哪个模型，我们刚才不是下载了一个cmu的模型吗？这里就可以指定用cmu模型了，从命名可以看出，有三个模型都是以mobile命名的，应该是针对手机或者嵌入式设备的网络，那么就会比较在意资源的使用，可能就会对精度有点牺牲，所以我感觉我们用GPU来跑的话，用这个cmu模型效果应该会更好。

接着往下看，

logger.debug('initialization %s : %s' % (args.model, get_graph_path(args.model)))

w, h = model_wh(args.resize)

if w > 0 and h > 0:

e = TfPoseEstimator(get_graph_path(args.model), target_size=(w, h))

else:

e = TfPoseEstimator(get_graph_path(args.model), target_size=(432, 368))

TfPoseEstimator是个类，这里先实例化这个类，具体这个类干嘛的，我们先不管，继续往下看，

logger.debug('cam read+')

cam = cv2.VideoCapture(args.camera)

ret_val, image = cam.read()

logger.info('cam image=%dx%d' % (image.shape[1], image.shape[0]))

while True:

ret_val, image = cam.read()

logger.debug('image process+')

humans = e.inference(image, resize_to_default=(w > 0 and h > 0), upsample_size=args.resize_out_ratio)

logger.debug('postprocess+')

image = TfPoseEstimator.draw_humans(image, humans, imgcopy=False)

logger.debug('show+')

cv2.putText(image,

"FPS: %f" % (1.0 / (time.time() - fps_time)),

(10, 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5,

(0, 255, 0), 2)

cv2.imshow('tf-pose-estimation result', image)

fps_time = time.time()

if cv2.waitKey(1) == 27:

break

logger.debug('finished+')

cv2.destroyAllWindows()

上面的代码就是先用opencv从摄像头中读取一帧一帧的图像数据，然后将图像数据传给TfPoseEstimator类的inference函数，得到一个返回值humans，humans和图像数据image再传给TfPoseEstimator类的draw_humans函数，得到的返回值通过opencv显示出来，就是我们看到的人体姿态检测图。可以猜一下，这个humans应该包含了人体的关键点信息，之所以是humans而不是human，应该是这个信息有可以同时包含多个人的，而draw_humans函数的功能则是根据这些信息和原始图像数据image，将这些关键点和其连接画到原始图像上。

5、draw_humans函数

为了验证上面的猜想是否正确，我们来看看draw_humans函数做了什么，先贴代码，

@staticmethod

def draw_humans(npimg, humans, imgcopy=False):

if imgcopy:

npimg = np.copy(npimg)

# 获取图片的高和宽

image_h, image_w = npimg.shape[:2]

centers = {}

# humans可能包含多个人的信息

for human in humans:

# draw point

for i in range(common.CocoPart.Background.value):

if i not in human.body_parts.keys():

continue

# 取出对应的关键点

body_part = human.body_parts[i]

# 计算关键点坐标，body_part中的值只是关键点相对图片的位置的比例，并不是真实的坐标值

# 加0.5应该是为了做四舍五入运算，因为图片中的坐标值一定得是整数的

center = (int(body_part.x * image_w + 0.5), int(body_part.y * image_h + 0.5))

centers[i] = center

# 用一个小圆点画出关键点

cv2.circle(npimg, center, 3, common.CocoColors[i], thickness=3, lineType=8, shift=0)

# draw line

for pair_order, pair in enumerate(common.CocoPairsRender):

# 关节两端的关键点同时检测到，才画直线

if pair[0] not in human.body_parts.keys() or pair[1] not in human.body_parts.keys():

continue

# npimg = cv2.line(npimg, centers[pair[0]], centers[pair[1]], common.CocoColors[pair_order], 3)

# 用直线将关节画出来

cv2.line(npimg, centers[pair[0]], centers[pair[1]], common.CocoColors[pair_order], 3)

return npimg

上面代码中的common.CocoPart类就包含了我们要检测的关键点，

class CocoPart(Enum):

Nose = 0

Neck = 1

RShoulder = 2

RElbow = 3

RWrist = 4

LShoulder = 5

LElbow = 6

LWrist = 7

RHip = 8

RKnee = 9

RAnkle = 10

LHip = 11

LKnee = 12

LAnkle = 13

REye = 14

LEye = 15

REar = 16

LEar = 17

Background = 18

而CocoPairsRender数组包含的是由对应关键点组成的关节的元祖，

CocoPairs = [

(1, 2), (1, 5), (2, 3), (3, 4), (5, 6), (6, 7), (1, 8), (8, 9), (9, 10), (1, 11),

(11, 12), (12, 13), (1, 0), (0, 14), (14, 16), (0, 15), (15, 17), (2, 16), (5, 17)

] # = 19

CocoPairsRender = CocoPairs[:-2]

为了方便理解，我用我魔性的绘画水准画出了下面的示意图，

为什么上图没有头发呢？因为程序员不需要头发的～

大家对比一下上面这张图就很好理解common.CocoPart类和CocoPairsRender数组了。为了方便后续查看，我给上面的CocoPairs加了注释，

CocoPairs = [

(1, 2), # 右肩，

(1, 5), # 左肩，

(2, 3), # 右肘，

(3, 4), # 右腕

(5, 6), # 左肘

(6, 7), # 左腕

(1, 8), # 右臀

(8, 9), # 右膝盖

(9, 10), # 右脚踝

(1, 11), # 左臀

(11, 12), # 左膝盖

(12, 13), # 左脚踝

(1, 0), # 鼻子

(0, 14), # 右眼

(14, 16), # 右耳

(0, 15), # 左眼

(15, 17), # 左耳

(2, 16),

(5, 17)

] # = 19

CocoPairsRender = CocoPairs[:-2]

其他的都比较好理解，直接看注释好了，后续的博客，我们先看原始论文的算法，再解析源码，这一讲就先到这里了。

如果您感觉本篇博客对您有帮助，请打开支付宝，领个红包支持一下，祝您扫到99元，谢谢～～