食品分類は、生活家電（スマート冷蔵庫、電子レンジ）、飲食店、病院などのさまざまなアプリケーションや、食品産業において利用できます。 FD-MobileNetモデルをベースにしたこのアプリケーションは、ピザ、ビール、フライド･ポテトなどの18種類の飲食物を識別できます。
ステップ･バイ･ステップのアプローチ
– カメラ･モジュール（B-CAMS-OMV）を使用して、シーンをキャプチャしました。
– 食品分類を実行するためのニューラルネットワークとして学習済みFD-MobileNetモデルを選びました。
– このモデルは、すでにファンクション･パックFP-AI-VISION1（STM32H747ディスカバリ･キット用）に統合されています。
– その後、STM32Cube.AIを使用してこのモデルを最適化しました。
センサ
画像：カメラ･モジュール･バンドル（リファレンス･ボード：B-CAMS-OMV）
データ
データフォーマット：
– 18クラス：「アップル･パイ」、「ビール」、「シーザー･サラダ」、「カプチーノ」、「チーズケーキ」、「手羽先」、「チョコレート･ケーキ」、「コーラ」、「カップケーキ」、「ドーナツ」、「フライド･ポテト」、「ハンバーガー」、「ホット･ドッグ」、「ラザニア」、「ピザ」、「リゾット」、「スパゲッティ･ボロネーゼ」、「ステーキ」
– RGBカラー画像
結果
推論時間と精度の間で固有のトレードオフがある2種類のネットワークを用意しました。
モデル： 「標準」量子化畳込みニューラル･ネットワーク
入力サイズ：224 x 224 x 3
メモリ･フットプリント：
使用Flashメモリ：132KB（重みデータ）
使用RAM：148KB（アクティベーション･バッファ）
精度：72.8%
性能（高性能マイコンSTM32H747 @ 400MHz使用時）
推論時間：79ms
フレームレート：11.8fps
モデル： 「最適化済み」量子化畳込みニューラル･ネットワーク
入力サイズ：224 x 224 x 3
メモリ･フットプリント：
使用Flashメモリ：148KB（重みデータ）
使用RAM：199KB（アクティベーション･バッファ）
精度：77.5%
性能（高性能マイコンSTM32H747 @ 400MHz使用時）
推論時間：145ms
フレームレート：6.6fps
