食物识别

从功能包开始 阅读教程

食物识别可用于广泛的应用,如家电(智能冰箱、微波炉)、餐厅、医院,或用于食品工业中。 基于FD-MobileNet模型,应用可以识别18种不同类型的食物和饮料,包括披萨、啤酒、薯条等等。

方法步骤

– 我们使用了一个相机模块 (B-CAMS-OMV) 来捕捉场景
– 我们选择了一个预训练FD-Mobilenet NN模型来执行食物识别
– 该模型已经集成在功能包FP-AI-VISION1中(为STM32H747探索套件制作
– 该模型使用STM32Cube.AI进行优化

传感器

视觉:相机模块捆绑包(参考:B-CAMS-OMV)

数据

数据格式:
– 18个类别:苹果派、啤酒、凯撒沙拉、卡布奇诺、芝士蛋糕、鸡翅、巧克力蛋糕、可乐、杯子蛋糕、甜甜圈、薯条、汉堡、热狗、千层面、披萨、烩饭、肉酱意面、牛排
– RGB彩色图像

结果

我们提供两种不同的网络,它们在推理时间和准确率之间实现了特定的平衡。

模型:“标准”量化卷积神经网络

输入大小:224x224x3

存储器占用:
132 KB Flash存储器用于加权
148 KB RAM用于激活

准确率:72.8%

400 MHz时STM32H747(高性能)的性能
推理时间:79 ms
帧率:11.8 fps

模型:“优化”的量化卷积神经网络

输入大小:224x224x3

存储器占用:
148 KB的Flash存储器用于加权
199 KB RAM用于激活

准确率:77,5%

400 MHz时STM32H747(高性能)的性能
推理时间:145 ms
帧率:6.6 fps

食品识别示例的板载验证信息摘要