姿势追踪器项目:伺服电机如何旋转?姿势如何识别?
发布时间:2020-06-19
分享到:
姿势追踪器项目:伺服电机如何旋转?姿势如何识别?
发布时间:2020-06-19
分享到:

这是电子系统设计的项目。
我计划设计一种可跟踪单个人类运动的旋转相机。我们使用ESP32 CAM通过Wi-Fi芯片将图片传输到笔记本电脑。ESP32 CAM是一个Web服务器,该网页是一个客户端。连接时,JavaScript使用Tensorflow.js中的PoseNet算法跟踪人体的关键点。该页面将伺服电机的角度返回给ESP32。该网页包含两个主要功能。姿势跟踪器和姿势评估。姿势跟踪器用于跟踪人脸或人体。您可以使用它自己制作视频,甚至可以将其转到相机上。

我使用了哪些组件?

  它由三个主要组件组成:ESP CAM,Mini Pan-Tilt Kit和FTDI。ESP CAM是功能丰富的MCU。它集成了WIFI和蓝牙。相机型号为OV2640。FTDI为ESP32CAM供电,并发送和接收数据。迷你锅具套件具有两个伺服电机。它可以水平旋转180°,垂直旋转150°。角度指令由ESP32 MCU芯片提供。总价格约为30美元。

如何追踪人体姿势?

有很多方法可以处理人体姿势估计。现在这是一个热门话题。在此项目中,我将PoseNet与tensorflow.js一起使用。它可以直接使用JavaScript处理图像。它给出了17个自信分和关键点的位置。置信度得分用于评估我们对这一点的信任程度。人体骨骼可以在网页中实时绘制。

伺服电机如何旋转?

在画布中检测到位置后,我们应该返回命令以将脸部或身体置于中间。我测试了不同的跟踪方式,例如使用平均位置或实时位置。鲁棒性不好,并且总是有延迟的跟踪。最后,我使用画布大小和角度的关系。例如,我们跟踪鼻子,画布的宽度为640,整个宽度的角度约为50度。我们可以派生一个将鼻子位置校正到320的函数。

如何评估人体姿势?

有多种评估人体姿势的方法,例如深度网络。我使用传统方式。在检测画布中的位置后,我们测试腿或手臂的位置和角度。例如,手腕位置高于眼睛,脚踝距离大于肩膀距离。 最终,这是我设计的网页的视频:

组件
1个×ESP32 CAM
1个×对外直接投资
1个×迷你云台套件

声明:本文系电路城独家所有,转载请注明出处!

加入微信技术交流群

技术交流,职业进阶

关注电路设计技能公众号

了解最新技术方案

加入电路城 QQ 交流群

与技术大牛交朋友

讨论