, ,

人検出(Visual Wake Word)

GitHubにアクセス

住宅やビルのスマート化は、生活環境や労働環境の管理を居住者中心にすることを意味します。 このパラダイム・シフトの実現には、身の回りにある電子部品のセンシング・インテリジェンスの強化が必要です。 その意味で、在室検出は照明アプリケーションや冷暖房空調アプリケーションのスマート化と効率化に新たな可能性を開きます。

アプローチ

– カメラ・モジュール(B-CAMS-OMV)を使用してシーンをキャプチャし、96 x 96ピクセルに縮小しました。
– 人検出の管理には、Google Visual Wake Wordからの学習済みNNモデルを選択しました。
– このモデルは、すでにファンクション・パックFP-AI-VISION1(STM32H747ディスカバリ・キット用)に統合されています。
– このモデルはSTM32Cube.AIを使用して最適化されています。

センサ

画像:カメラ・モジュール・バンドル(リファレンス・ボード:B-CAMS-OMV

データ

データフォーマット
2クラス:人がいる / 人がいない
96 x 96カラー画像(MobileNet v1 0.25の場合)
128 x 128カラー画像(MobileNet v2 0.35の場合)

結果

モデル: 量子化されたMobileNet v1 0.25

入力サイズ:96 x 96 x 3

メモリ・フットプリント:
使用Flashメモリ:214KB(重みデータ)
使用RAM:40KB(アクティベーション・バッファ)

精度:85%(Cocoサブセット・データセットに対して)

性能(STM32H747* @ 400MHz使用時)
推論時間:36ms
フレームレート:28fps

モデル: 量子化されたMobileNet v2 0.35

入力サイズ:128 x 128 x 3

メモリ・フットプリント:
使用Flashメモリ:402KB(重みデータ)
使用RAM:224KB(アクティベーション・バッファ)

精度:91%(Cocoサブセット・データセットに対して)

性能(STM32H747* @ 400MHz使用時)
推論時間:110ms
フレームレート:9fps

* STM32CubeAI 7.1.0ベースのFP-AI-VISION1 3.1.0を使用して測定

STM32Cube.AI人検出ユースケース混同行列