【论文复现】多人姿态关键点检测：OpenPose的飞桨复现

0. 导入

跳舞的火柴人

1. 项目简介

该项目给出了Paddle版本的OpenPose实现及其简单应用，该项目主要参照 pytorch-openpose ，在AI Studio平台上利用Paddle修改并重写了代码，并且完成了模型参数的转化工作。
该项目的内容总结如下：

• 给出了Paddle框架实现的多人姿态关键点提取的网络代码实现，
• 给出了针对15、18、25人体姿态关键点提取模型参数以及人脸部70个关键节点和手部21个关键节点的模型及其参数，
• 给出了使用改代码的实例并对结果做出了可视化展示。

2. OpenPose概述

OpenPose是第一个实时从单张RGB图片提取多人体骨骼框架的系统，该代码库的作者是Ginés Hidalgo,Zhe Cao,Tomas Simon,Shih-En Wei,Yaadhav Raaj,Hanbyul Joo,andYaser Sheikh 。官方代码地址 Openpose 。Openpose内置了提取人体姿态15、18、25个关键点和人脸部70个关键点、手部21个关键节点的解决方案。下面将以人的姿态关键点为例展开介绍，脸部和手部的关键点类似。

网络结构是一个全卷积的结构，该网络的设计思路在于使用步长大于1的卷积层扩大感受野，使网络能够对人体其他部位有整体的认知，最后的网络输出是包含人体关键节点的热力图，每张热力图表示人的单个节点的位置，网络结构图如下所示。（图片来源： Convolutional Pose Machines ）

在文章 Convolutional Pose Machines 中，网络只能提取单人的pose，为了使它能够泛化到多人姿态的估计，后续的文章 Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields 提出了人体关键节点关联场（PAF：Part Affinity Fields）的概念，使用PAF关联同一个人的节点，该文章也给出了关联节点后处理步骤的算法。下图给出了PAF的示意图。（图片来源： Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ）

这里只给出了十分简洁的介绍，有兴趣的读者可以到原文中查看细节。推荐阅读顺序

• Convolutional Pose Machines
• Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
• OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

3. 代码结构

• /home/aistudio/openpose: 主要代码目录
• /home/aistudio/openpose/models: 模型代码
• /home/aistudio/openpose/postprocess: 后处理代码
• /home/aistudio/openpose/detectors: 主提取关键点类及其方法
• /home/aistudio/openpose/images: 演示实例图片
• /home/aistudio/data/data66164: 内置的模型参数文件

4. 如何使用

4.1 下载依赖包

4.2 创建网络，加载参数，读入数据

4.3 可视化展示结果

4.4 其他模型

• 检测人体25个关键节点

• 检测手部关键节点

• 检测脸部关键节点

4.5 可视化展示PAF

About this code

Several pose estimation model written in Paddle (No code for training). This code is heavily copied from pytorch-openpose .

Original project: Openpose

Paper: OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

If this work is useful for you, please cite

@article{8765346,
author = {Z. {Cao} and G. {Hidalgo Martinez} and T. {Simon} and S. {Wei} and Y. A. {Sheikh}},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
title = {OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
year = {2019}
}

@inproceedings{simon2017hand,
author = {Tomas Simon and Hanbyul Joo and Iain Matthews and Yaser Sheikh},
booktitle = {CVPR},
title = {Hand Keypoint Detection in Single Images using Multiview Bootstrapping},
year = {2017}
}

@inproceedings{cao2017realtime,
author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
booktitle = {CVPR},
title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
year = {2017}
}

@inproceedings{wei2016cpm,
author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
booktitle = {CVPR},
title = {Convolutional pose machines},
year = {2016}
}