, ,

适用于游戏的手势识别

电影《少数派报告》中的场景将变成现实。 无论是对于提高用户体验还是对于流行病防控,基于手势进行控制均能带来诸多好处。 为便于演示,我们创建了4类姿势来区分不同的基本姿势,但模型可以用任何姿势进行训练,从而为最终用户提供各种各样的新功能。 NanoEdge AI Studio支持飞行时间传感器,但该应用也可以用雷达等其他传感器来实现。

方法

  • 我们使用飞行时间传感器而不使用摄像头。 这会减少待处理信号数量,并确保只获取必要信息
  • 将检测距离设为20 cm以降低背景的影响
  • 传感器采样频率设为最大值 (15 Hz),以便以正常速率捕获姿势
  • 我们创建了一个数据集,每个类别包含1200条记录,以免出现空测量值的情况(无运动)。
  • 将评估板连接到运行NEAI Studio的PC,就可以轻松管理数据记录。
  • 最后,我们使用NanoEdge AI Studio创建了一个“N个类别”模型(4个类别),并在NUCLEO_F401RE上进行了现场测试。 (并使用X-NUCLEO-53L5A1扩展板)

传感器

飞行时间传感器:VL53L5CX

数据

4类数据:上移、下移、左移和右移
数据长度:256,4个8×8的连续矩阵
数据速率:15 Hz

结果

4类姿势分类:
98.12%准确率,1.3 KB RAM,59.1 KB Flash存储器

绿点表示分类正确的信号。 红点表示分类不正确的信号。 类别位于横坐标,预测置信度显示在纵坐标上