Shifumi手势识别

少数派报告:从虚拟到(几乎)现实!

基于手势的设备控制有很多优势,不仅可以提供更好的用户体验,还能实现无接触应用控制,安全又卫生。 为便于演示,我们创建了3个类别来区分几种不同的手势,但模型可以用任何手势进行训练,从而为最终用户提供各种各样的新功能。

NanoEdge AI Studio支持飞行时间传感器,但该应用也可以用雷达等其他传感器来实现。

方法

– 我们使用飞行时间传感器而不是相机来获得更小的信号,更简单的信息。
– 我们将检测距离设置为20 cm,以降低背景的影响。 备选方案:对测量距离进行二值化处理。
– 我们进行了10次测量(频率:15 Hz),并为每次测量预测一个类别。 然后我们选择出现次数最多的类别。
-(为了研究动作的演变,我们将测量值串联起来,形成更长的信号。在这里,我们的目标是对信号进行分类。这里不需要时间性)。
我们创建了一个数据集,每个类别(石头、剪刀、布)包含3000条记录,以免出现空测量值的情况(无运动)。
最后,我们使用NanoEdge AI Studio创建了一个“N个类别”模型(3个类别),并在NUCLEO_F401RE上进行了现场测试。

传感器

飞行时间传感器:VL53L5

数据

3类数据:石头、剪刀、布
信号长度:64,8×8的连续矩阵
数据速率:15 Hz

结果

3类手势:
99.37%准确率,0.6 KB RAM,192.2 KB Flash存储器

绿点表示分类正确的信号。 红点表示分类不正确的信号。 类别位于横坐标,预测置信度显示在纵坐标上