人体存在检测(视觉唤醒词)

GitHub分支

让家居和建筑更智能的内涵是提供以人为本的生活和工作环境管理。 这种范式转变要求我们在周围的电子元件中增强传感智能。 在这样的背景下,人体存在检测提供了新的可能性,可以让照明、供暖和空调等应用更智能、更高效。

方法

– 我们使用了一个相机模块 (B-CAMS-OMV) 来捕捉场景,并缩小到96×96像素
– 我们选择了一个Google视觉唤醒词的预训练NN模型来管理人体存在检测
– 该模型已经集成在功能包FP-AI-VISION1中(为STM32H747探索套件制作)
– 该模型使用STM32Cube.AI进行优化

传感器

视觉:相机模块捆绑包(参考:B-CAMS-OMV)

数据

数据格式
两个类别:有人/无人
针对MobileNet v1 0.25的96×96彩色图像
针对MobileNet v2 0.35的128×128彩色图像

结果

模型:针对MobileNet v2 0.35的128×128彩色图像

输入大小:96x96x3

存储器占用:
214 KB Flash存储器用于加权
40 KB RAM用于激活

准确率:对Coco数据集子集的准确率为85%

400 MHz时STM32H747*的性能
推理时间:36 ms
帧率:28 fps

模型:量化MobileNet v2 0.35模型

输入大小:128x128x3

存储器占用:
402 KB Flash存储器用于加权
224 KB RAM用于激活

准确率:对Coco数据集子集的准确率为91%

400 MHz时STM32H747*的性能
推理时间:110 ms
帧率:9 fps

* 使用STM32CubeAI 7.1.0中的FP-AI-VISION1 3.1.0测量

STM32Cube.AI人员存在检测用例混淆矩阵