, ,

カメラ・モジュールを使用しないハンド・ジェスチャ認識

GitHubにアクセス

ハンド・ジェスチャによる機械の制御を夢見たことはありますか?
もし携帯電話で手の動きに基づいて友人に絵文字を送ることができるとしたらどうですか?

その夢がついに現実となりました。 このソリューションは、STのマルチゾーンToF(Time-of-Flight)測距センサを使用するもので、カメラは不要です。 AIアルゴリズムはSTM32マイクロコントローラ上で動作するため、複雑な処理が不要で、しかも低消費電力です。

独自のハンド・ジェスチャを定義し、データセットを収集し、AIモデルを学習させることでアプリケーションを開発できます。

アプローチ

このハンド・ジェスチャ認識ソリューションは、STのマルチゾーンToF測距センサを使用して一連のハンド・ジェスチャを検出します。
開発プロセスは、以下のステップに基づきます。

  • まず、独自のハンド・ジェスチャを定義します。
  • 8 x 8マルチゾーンToF測距センサ(VL53L5CX、VL53L7CX、VL53L8CXなど)からの距離および信号データを使用して、数人のユーザからデータセットを収集します。
  • STM32 Model zooからの学習スクリプトでAIネットワークを学習させます。
  • STM32Cube.AI Developer CloudまたはSTM32 Model zooに含まれる「Hand Posture Getting Started」を使用して、選択したSTM32マイクロコントローラにAIモデルを実装します。

このアプローチによりアプリケーションを素早く開発できることに加え、ハンド・ジェスチャの自由度が高く、しかもメモリ使用量と消費電力を抑えることができます。
ToF測距センサは、アプリケーションに応じてユーザの前に(PC、満足度調査ボックス)、天井に向けて(調理台)、または移動物体に固定して(スマート・グラス)設置できます。

センサ

マルチゾーンToF測距センサ(参照:VL53L5CXVL53L7CXVL53L8CX

データ

データセット:プライベート・データセット:5ユーザ、7種のハンド・ジェスチャ
データフォーマット
8 x 8測定距離および信号レート
アプリケーションや反応性に合わせた周波数

結果

モデルCNN 2D

メモリ・フットプリント:
使用Flashメモリ:29KB(重みデータ)
使用RAM:3KB(アクティベーション・バッファ)

精度96.4%

性能(STM32F401 @ 84MHz使用時)
推論時間:1.5ms

STM32Cube.AI ハンド・ジェスチャ認識 ユースケース 混同行列
混同行列