「sentis-blaze-pose」という、人体ポーズ検出モデル（BlazePose）を利用したUnityプロジェクトを用いて、自前の画像数点に対してポーズ検出を行ってみました。 結果、概ね正確に検出でき、非常に面白い技術だと感じました。 人体に特化しているため、ロボットなどのポーズ検出は、動画（00:20 - 00:24）のようにうまくいかないようです。 ### sentis-blaze-poseについて --- Unity Sentisを利用して、人体ポーズ検出モデル（BlazePose）をUnity上で動作させ、ポーズ検出を行うプロジェクトです。 Unity Sentisは、以前紹介しました、機械学習モデルをローカルで動かすためのUnityライブラリです。 BlazePoseは、Google Google Researchが開発した高精度な人体ポーズ推定モデルとなります。 ### 今後の予定案 --- 1. 3Dキャラクターモデルに検出したポーズを適用 Unity上で、3Dモデルのボーンに、対応する検出したキーポイントをマッピングします。 2. 人間以外のポーズ検出 Unity上で、人間以外のポーズ検出を行うモデル（SuperAnimalなど）を利用して、そのポーズ検出を行います。 ### 使用画像 --- 1. 人物画像 GoogleのImageFXと、Black Forest LabsのFLUX.1 [dev]で生成したAI画像となります。 2. ロボット画像 Mixamoのロボットの画像となります。 ### 関連URL --- 1. sentis-blaze-pose [unity/sentis-blaze-pose · Hugging Face](huggingface.co/unity/sentis-…) 2. BlazePoseモデル [On-device, Real-time Body Pose Tracking with MediaPipe BlazePose](research.google/blog/on-devi…) 3. SuperAnimalモデル [SuperAnimal pretrained pose estimation models for behavioral analysis | Nature Communications](nature.com/articles/s41467-0…) 4. Unity Sentis [Unity Sentis: Use AI models in Unity Runtime | Unity](unity.com/ja/products/sentis) 5. ImageFX [ImageFX](aitestkitchen.withgoogle.com…) 6. FLUX.1 [dev] [FLUX.1 [dev] - a Hugging Face Space by black-forest-labs](huggingface.co/spaces/black-…) 7. Mixamo [Mixamo](mixamo.com/) ### Tag --- #UnitySentis #PoseDetection #BlazePose #MachineLearning #AI

Registration for CVMP 2021 is now open! Join us on 6–7 December by registering here: cvmp-conference.org/2021/reg… Please share widely.

hands physics = MetaHuman can pet the dog 🐶 full demo: youtu.be/NuNiXCz6Gmg