U盘PE| w764位旗舰版下载 | U盘装win7系统 | U盘启动 |win7pe | win10下载 |加入收藏土豆PE官网U盘PE,U盘装win7系统,win7pe,U盘启动,U盘装系统,w764位旗舰版下载站!
当前位置:主页 > 帮助中心 > PE系统相关教程 >

​使用 Mediapipe 对图像进行手部地标检测

来源:http://www.tudoupe.com时间:2022-03-08

概述

在本文中,我们将以深度库即 Mediapipe为基础库,以及其他计算机视觉预处理的CV2库来制作手部地标检测模型。市场上有很多关于这种问题的用例,例如商业相关的虚拟现实、游戏部分的实时体验。

e70305c1c2f1c7e96fdc010a3ce4e4de.png

行业用例

  1. 智能家居:这是计算机视觉的现代用例之一,人们使用智能家居来过上更舒适的生活,这就是为什么它不再是一个小众领域,它也正在蔓延到普通家庭。

  2. 智能电视:我们经常看到这种用例,你可以用手势来改变音量、改变频道等等。

  3. 游戏:对于真正的体验,这项技术越来越多地融入互动游戏。

让我们建立我们的手部检测模型

导入库

在这里,我们将导入整个管道中需要的所有库。

使用 Mediapipe 初始化手的地标检测模型

第一步是使用有效参数初始化模型,无论我们采用哪种检测技术,它可以是Mediapipe 或Yolo,初始化模型很重要,遵循相同的原则,我们将遵循所有给定的步骤:

代码分解:

  1. 首先,使用mp.solutions.hands初始化变量 mp_hands。

  2. 然后使用相同的变量通过mp.solutions.hands.Hands()为hands设置函数。

到目前为止,我们了解了手模型初始化的结构,现在让我们深入研究函数中使用的参数hands

  • static_image_mode: 该参数将布尔值作为其有效值,即它可以是True或False。当处理视频流时,默认条件是 False ,这意味着它会降低处理延迟,即它会继续专注于特定的手并定位相同的手,直到它追踪的手消失,当我们必须检测实时流或视频中的手时,这可能是有益的,根据我们的要求,我们必须检测图像上的地标,因此我们将值设置为True

  • max_num_hands:此参数将指示模型将在一个实例中检测到的最大手数。默认情况下,该值为 2,这也是有意义的,尽管我们可以更改它,但我们希望至少检测到一双手。

  • min_detection_confidence:它提供了置信水平的阈值。最小检测置信度的理想范围是 [0.0,1.0],默认情况下,它保持为 0.5,这意味着如果置信度低于 50%,则在输出图像中根本不会检测到手。

最后,我们将使用mp.solutions.drawing_utils,它将负责在输出图像上绘制所有手的地标,这些地标由我们的 Hands 函数检测到。

读取图像

在这里,我们将首先使用cv2.imread()读取要在其上执行手部检测的图像,并使用matplotlib库来显示该特定输入图像。

输出:

b9ccd672254b0ea9775d26550736acf2.png

执行手部地标检测

因此,现在我们已经初始化了我们的手部检测模型,下一步将是处理输入图像上的手部地标检测,并使用上述初始化模型在该图像上绘制所有 21 个地标,我们将通过以下步骤。

f939f4cbd80b1afbb6672466548623ff.png

输出:

a76f9c5dcb1b326ca5dfadc1cac4f544.png

代码分解:

  1. 第一步,我们使用Mediapipe 库中的process函数将手部地标检测结果存储在变量results中,同时我们将图像从 BGR 格式转换为 RGB 格式。

  2. 在进入下一步时,我们将首先检查一些验证,是否检测到点,即变量results应该存放了一些结果。

  3. 如果是,那么我们将遍历在图像中检测到的具有手部地标的所有点。

  4. 现在在另一个循环中,我们可以看到只有 2 次迭代,因为我们只想显示手的 2 个地标。

  5. 最后,我们将根据要求打印出所有检测到并过滤掉的地标。

从上面的处理中,我们发现所有检测到的地标都被归一化为通用尺度,但是现在对于用户端,这些缩放点是不相关的,因此我们会将这些地标恢复到原始状态。

输出:

85996c657b8e52358a96340301f70972.png

代码分解:

我们只需要在这里执行一个额外的步骤,即我们将从我们定义的示例图像中获得图像的原始宽度和高度,然后所有步骤将与我们之前所做的相同,唯一不同的将是现在地标点没有专门缩放。

在图像上绘制地标

由于我们已经从上述预处理中获得了手部地标,现在是时候执行我们的最后一步了,即在图像上绘制点,以便我们可以直观地看到我们的手部地标检测模型是如何执行的。

输出:

6a0c07e5f042039cfbbe0c406dc2e1cd.png

代码分解:

  1. 首先,我们将创建原始图像的副本,此步骤是出于安全目的,因为我们不想失去图像的原创性。

  2. 然后我们将处理之前所做的验证工作。

  3. 然后我们将遍历手的每个地标。

  4. 最后,借助mp_drawing.draw_landmarks函数,我们将在图像上绘制地标。

  5. 是时候使用 matplotlib 绘制图像了,所以首先,我们将给出图形大小(此处为 width-10 和 height-10),然后在最后绘制,imshow将 BGR 格式转换为 RGB 格式后的图像使用函数,因为对于 RGB 格式更有意义。

结论

在整个管道中,我们首先初始化模型,然后读取图像,查看输入图像,然后进行预处理。我们缩小了地标点,但这些点与用户无关,因此我们将其恢复到原始状态,最后我们将在图像上绘制地标。

尾注

这是本文的 github 链接:https://github.com/Aman-Preet-Singh-Gulati/hands-landmarks-detection-mediapipe

☆ END ☆

如果看到这里,说明你喜欢这篇文章,请转发、点赞。微信搜索「uncle_pn」,欢迎添加小编微信「 woshicver」,每日朋友圈更新一篇高质量博文。

↓扫描二维码添加小编↓

33f0a2d7f115e60083fc839df96361f3.png

Copyright © 2012-2014 Www.tudoupe.Com. 土豆启动 版权所有 意见建议:tdsky@tudoupe.com

土豆系统,土豆PE,win7系统下载,win7 64位旗舰版下载,u盘启动,u盘装系统,win10下载,win10正式版下载,win10 RTM正式版下载,win8下载,电脑蓝屏,IE11修复,网络受限,4K对齐,双系统,隐藏分区,系统安装不了,U盘装系统,笔记本装系统,台式机装系统,diskgenius运用,GHSOT装系统,U盘修复,U盘技巧,U盘速度,U盘不能格式化,U盘复制发生错误,U盘加密,U盘选购,开机黑屏,蓝屏,进不了系统,上不了网,打不开程序,点击无反应,系统设置,PE个性化,PE添加网络,PE维护系统

点击这里给我发消息