, , ,

无需相机模块的手势识别

GitHub分支

您是否曾经梦想过使用手势控制机器?
或者根据手势,在手机上向朋友们发送表情符号?

现在这些都已变成现实! 有了意法半导体多区飞行时间 (ToF) 传感器,这一解决方案甚至连相机都不需要。 AI算法在STM32微控制器上运行,降低了处理复杂度和功耗。

您可以定义自己的手势集,收集数据集,训练AI模型,并创建您自己的应用!

方法

这一手势识别解决方案使用意法半导体多区飞行时间传感器检测手势集。
开发过程基于以下步骤:

  • 定义您自己的手势集
  • 使用8 x 8多区域ToF传感器(例如VL53L5CX、VL53L7CX或VL53L8CX )的距离和信号数据,从多个用户那里收集您的数据集。
  • 使用STM32 MODEL ZOO的训练脚本训练AI网络
  • 通过STM32Cube.AI开发者云或STM32 MODEL ZOO中包含的“手势入门”,将AI模型实现到您选择的STM32 MCU。

这种方法可以实现应用的快速开发,具有高度可配置的手势,低内存占用和低处理功耗。
根据具体应用,您可以选择将ToF传感器放置在用户前方(个人计算机、满意度箱),指向天花板(烹饪盘)或固定在移动物体上(智能眼镜)。

传感器

多区飞行时间传感器(参考: VL53L5CX, VL53L7CX, VL53L8CX)

数据

数据集:私人数据集:5个用户,7种手势
数据格式
8 x 8测距和信号速率
根据具体应用和所需响应对齐频率

结果

模型:CNN 2D

存储器占用:
29 KB Flash存储器用于加权
3 KB RAM用于激活

准确率:96.4 %

84 MHz时STM32F401的性能
推理时间:1.5 ms

STM32Cube.AI手姿识别用例混淆矩阵
混淆矩阵