3 Sep 2025
イラストの判定部分でUnitySentisを使ってるんだけど、ONNXモデルが効いてるのかわからないし、確認用イラストを描かないといけないのが大変で実装どうしようかすごく迷ってる 迷ってるっていいながらほとんど採用する気ではあるんだけどｗ
11
220
15 Feb 2025
少し前ですが、「sentis-phi-1_5」（MicrosoftのLLMであるPhi-1.5をローカル環境で実行するためのUnityプロジェクト）を利用して、Unityのローカル環境でPhi-1.5に文章生成させてみました。
Phi-1.5は1年以上前のモデルのため、精度はあまり高くありませんが、動画のように、一応、文章生成させることができました。
### Phi-1.5 について
---
1.3億のパラメータを持つMicrosoftのLLMで、2023年9月にリリースされました。
主に合成データ（人間ではなく、プログラムが人工的に生成したデータ）を使用して訓練されている点が特徴です。
オープンソースですが、非営利の研究目的でのみ使用が許可されています。
### sentis-phi-1_5 について
---
Unity Sentisを利用して、Phi-1.5をUnity上で動かし、文章生成させるプロジェクトです。
Phi-1.5本体や、Unity上で動かすためのソースコードなどが含まれています。
Unity Sentisは、機械学習モデルをローカルで動かすためのUnityライブラリです。
### 今後の予定案
---
1. Unity上で、より高性能な最新のオープンソースのLLM（DeepSeek、Phi-4など）を動かします。
2. 現在開発中の、LLMを利用したAIキャラクターとの対話ゲームにおいて、APIではなくUnity Sentisを使用してLLMを動かします。
### 関連URL
---
1. sentis-phi-1_5
[unity/sentis-phi-1_5 · Hugging Face](huggingface.co/unity/sentis-…)
2. Phi-1.5
[microsoft/phi-1_5 · Hugging Face](huggingface.co/microsoft/phi…)
3. Unity Sentis
[Unity Sentis: Use AI models in Unity Runtime | Unity](unity.com/ja/products/sentis)
### タグ
---
#UnitySentis #sentis-phi-1_5 #Phi-1.5 #LLM #MachineLearning
13 Nov 2024
「sentis-blaze-pose」という、人体ポーズ検出モデル（BlazePose）を利用したUnityプロジェクトを用いて、自前の画像数点に対してポーズ検出を行ってみました。
結果、概ね正確に検出でき、非常に面白い技術だと感じました。
人体に特化しているため、ロボットなどのポーズ検出は、動画（00:20 - 00:24）のようにうまくいかないようです。
### sentis-blaze-poseについて
---
Unity Sentisを利用して、人体ポーズ検出モデル（BlazePose）をUnity上で動作させ、ポーズ検出を行うプロジェクトです。
Unity Sentisは、以前紹介しました、機械学習モデルをローカルで動かすためのUnityライブラリです。
BlazePoseは、Google Google Researchが開発した高精度な人体ポーズ推定モデルとなります。
### 今後の予定案
---
1. 3Dキャラクターモデルに検出したポーズを適用
Unity上で、3Dモデルのボーンに、対応する検出したキーポイントをマッピングします。
2. 人間以外のポーズ検出
Unity上で、人間以外のポーズ検出を行うモデル（SuperAnimalなど）を利用して、そのポーズ検出を行います。
### 使用画像
---
1. 人物画像
GoogleのImageFXと、Black Forest LabsのFLUX.1 [dev]で生成したAI画像となります。
2. ロボット画像
Mixamoのロボットの画像となります。
### 関連URL
---
1. sentis-blaze-pose
[unity/sentis-blaze-pose · Hugging Face](huggingface.co/unity/sentis-…)
2. BlazePoseモデル
[On-device, Real-time Body Pose Tracking with MediaPipe BlazePose](research.google/blog/on-devi…)
3. SuperAnimalモデル
[SuperAnimal pretrained pose estimation models for behavioral analysis | Nature Communications](nature.com/articles/s41467-0…)
4. Unity Sentis
[Unity Sentis: Use AI models in Unity Runtime | Unity](unity.com/ja/products/sentis)
5. ImageFX
[ImageFX](aitestkitchen.withgoogle.com…)
6. FLUX.1 [dev]
[FLUX.1 [dev] - a Hugging Face Space by black-forest-labs](huggingface.co/spaces/black-…)
7. Mixamo
[Mixamo](mixamo.com/)
### Tag
---
#UnitySentis #PoseDetection #BlazePose #MachineLearning #AI
1
46
1,170
5 Feb 2025
HoloLab DNN Packages v1.0.6をリリースしました！
Unity Sentis 2.1.2へのアップデートが含まれています。
#UnitySentis
github.com/HoloLabInc/HoloLa…
4
7
1,349
おはようございます！
シャドバ風美少女カードゲームを
作成しているももリンゴです！
[開発進捗]なんですが...
今回は微々たるものです😀
闘技場のアセットを購入し
フィールドにしてみました！
一気に雰囲気が出ましたね！
BGMも変えたようです！
...少しうるさいですかね...？
また、墓地送りに
エフェクトをつけたようです
カード情報が背景と被って
見づらいので調整すると思います...
---------------------------------------------------------
ちょっと今考えていることがありまして
今からカード効果を実装しよう
...という話なんですが
実際にカード効果を確かめるとなると
やはり相手が必要で
先にマルチの仕組みを作ってから
カード効果を実装するか模索中です😀
...マルチとなると一気に
実装難易度が跳ね上がると思います...
また、自分だけでデバックできるかは
分かりませんが
とりあえずやってみようと思います
マルチとカード効果を実装出来たら
UnitySentisを用いてカードバトルを学習させ
学習aiを用いたCPUを実装してみたいですね...
できるかは分かりませんが🤔
というわけでここから一番難しい作業に
入ると思いますが
chatGpt君を信じてやってみようと思います
2
4
64
1,732
15 Nov 2024
HoloLab DNN Packages v1.0.5をリリースしました！
Unity Sentis 2.1.1へのアップデート、RT-DETRやD-FINEなどDETRベースのオブジェクト検出モデルのサポートが含まれています。 #UnitySentis
github.com/HoloLabInc/HoloLa…
5
11
1,126
13 Nov 2024
「sentis-blaze-pose」という、人体ポーズ検出モデル（BlazePose）を利用したUnityプロジェクトを用いて、自前の画像数点に対してポーズ検出を行ってみました。
結果、概ね正確に検出でき、非常に面白い技術だと感じました。
人体に特化しているため、ロボットなどのポーズ検出は、動画（00:20 - 00:24）のようにうまくいかないようです。
### sentis-blaze-poseについて
---
Unity Sentisを利用して、人体ポーズ検出モデル（BlazePose）をUnity上で動作させ、ポーズ検出を行うプロジェクトです。
Unity Sentisは、以前紹介しました、機械学習モデルをローカルで動かすためのUnityライブラリです。
BlazePoseは、Google Google Researchが開発した高精度な人体ポーズ推定モデルとなります。
### 今後の予定案
---
1. 3Dキャラクターモデルに検出したポーズを適用
Unity上で、3Dモデルのボーンに、対応する検出したキーポイントをマッピングします。
2. 人間以外のポーズ検出
Unity上で、人間以外のポーズ検出を行うモデル（SuperAnimalなど）を利用して、そのポーズ検出を行います。
### 使用画像
---
1. 人物画像
GoogleのImageFXと、Black Forest LabsのFLUX.1 [dev]で生成したAI画像となります。
2. ロボット画像
Mixamoのロボットの画像となります。
### 関連URL
---
1. sentis-blaze-pose
[unity/sentis-blaze-pose · Hugging Face](huggingface.co/unity/sentis-…)
2. BlazePoseモデル
[On-device, Real-time Body Pose Tracking with MediaPipe BlazePose](research.google/blog/on-devi…)
3. SuperAnimalモデル
[SuperAnimal pretrained pose estimation models for behavioral analysis | Nature Communications](nature.com/articles/s41467-0…)
4. Unity Sentis
[Unity Sentis: Use AI models in Unity Runtime | Unity](unity.com/ja/products/sentis)
5. ImageFX
[ImageFX](aitestkitchen.withgoogle.com…)
6. FLUX.1 [dev]
[FLUX.1 [dev] - a Hugging Face Space by black-forest-labs](huggingface.co/spaces/black-…)
7. Mixamo
[Mixamo](mixamo.com/)
### Tag
---
#UnitySentis #PoseDetection #BlazePose #MachineLearning #AI
26 Sep 2024
Unity Sentisの勉強のため、Unity Sentisを利用したサンプルのオセロゲームのAIと対戦する作業などを行いました。
動画は、このAIとの対戦動画となります。
非常に強いAIという印象です。
## Unity Sentisとは?
ONNX形式の機械学習モデルを、ローカル上で動かすためのUnityライブラリです。
Unity 6から正式にサポートされるようです。
ゲームAIはもちろん、YOLOv5（物体検出モデル）やWhisper（音声認識モデル）、テキスト音声合成モデルなど様々なONNXモデルを動かすことが可能です。
Unity Sentisを利用してONNXモデルを動かすサンプルゲーム（本オセロゲームなど）やONNXモデルがオープンソースとして公開されています。
類似のUnityライブラリとして、Unity Barracudaがありますが、Sentisの方がパフォーマンスや使いやすさなどの観点で優れており、Sentisが今後の主流になるようです。
## 今後の予定案
- Unity Sentisを利用して、既存のオープンソースの様々なONNXモデル（Whisperなど）を動かします。
- Unity Barracudaを使用して動かしていた、自作のONNXモデル（現在改良中の3色鬼ごっこゲームのモデルなど）をSentisを利用して動かします。
## 関連URL
- 本オセロゲーム
[unity/sentis-othello · Hugging Face](huggingface.co/unity/sentis-…)
- オープンソースのONNXモデル
[unity (Unity Technologies)](huggingface.co/unity)
- Unity Sentis
[Unity Sentis: Use AI models in Unity Runtime | Unity](unity.com/ja/products/sentis)
#UnitySentis #GameAI #MachineLearning
3
75
11,195
6 Nov 2024
久しぶりの投稿です。
広夢の所属するCyberAgentのゲーム事業部の有志メンバーで作成したUniTips Vol.11が技術書典17から発売されました！
広夢は、UnitySentisをAI初心者向けに紹介しています
是非、お買い求め頂き、UnitySentis使いの第一歩に使って頂けると嬉しいです！
techbookfest.org/product/3Zj…
19
84
6,667
26 Sep 2024
Unity Sentisの勉強のため、Unity Sentisを利用したサンプルのオセロゲームのAIと対戦する作業などを行いました。
動画は、このAIとの対戦動画となります。
非常に強いAIという印象です。
## Unity Sentisとは?
ONNX形式の機械学習モデルを、ローカル上で動かすためのUnityライブラリです。
Unity 6から正式にサポートされるようです。
ゲームAIはもちろん、YOLOv5（物体検出モデル）やWhisper（音声認識モデル）、テキスト音声合成モデルなど様々なONNXモデルを動かすことが可能です。
Unity Sentisを利用してONNXモデルを動かすサンプルゲーム（本オセロゲームなど）やONNXモデルがオープンソースとして公開されています。
類似のUnityライブラリとして、Unity Barracudaがありますが、Sentisの方がパフォーマンスや使いやすさなどの観点で優れており、Sentisが今後の主流になるようです。
## 今後の予定案
- Unity Sentisを利用して、既存のオープンソースの様々なONNXモデル（Whisperなど）を動かします。
- Unity Barracudaを使用して動かしていた、自作のONNXモデル（現在改良中の3色鬼ごっこゲームのモデルなど）をSentisを利用して動かします。
## 関連URL
- 本オセロゲーム
[unity/sentis-othello · Hugging Face](huggingface.co/unity/sentis-…)
- オープンソースのONNXモデル
[unity (Unity Technologies)](huggingface.co/unity)
- Unity Sentis
[Unity Sentis: Use AI models in Unity Runtime | Unity](unity.com/ja/products/sentis)
#UnitySentis #GameAI #MachineLearning
9
117
11,004
19 Sep 2024
Vision Proでも動くよ！ヽ(๑╹◡╹)ﾉ #VisionPro #UnitySentis
Apple Vision Pro のアプリ内でカメラ画像が取り込めるようになったので、 @UnaNancyOwen さんが開発している HoloLab DNN Packages が 対応しました。
画像認識でオブジェクト検出とクラス分類ができます。
blog.hololab.co.jp/entry/202…
3
621
13 Sep 2024
HoloLab DNN PackagesもUnity Sentis 2.1.0にアップデートしました！ #UnitySentis
github.com/HoloLabInc/HoloLa…
1
2
510
21 Jun 2024
HoloLab DNN PackagesにYOLOv9 MITの推論クラスを追加しました！Unity SentisでYOLOv9 MITによるオブジェクト検出を簡単に実装することができます。 #UnitySentis
github.com/HoloLabInc/HoloLa…
2
6
1,264
13 Jun 2024
HoloLab DNN PackagesもUnity Sentis 1.5.0-pre.3にアップデートしました！ #UnitySentis
github.com/HoloLabInc/HoloLa…
2
316
Unityでデバイス上でTTSを動かす記事を書きました！
はてなブログに投稿しました
UnitySentisを使ってonnxでデバイスのみで動くTTSを実装する - yousanのメモ ayousanz.hatenadiary.jp/entr…
#はてなブログ
3
8
1,315
5 May 2024
Unity Sentisでローカルの高速speech-to-textを実装！
音声入力とテキスト変換の方法を丁寧に解説。
ネットワーク不要&APIコスト削減のメリットあり。
大人数プロダクトでも低コストで導入可能！
#Unity #UnitySentis #SpeechToText #音声認識
zenn.dev/hiropoko/articles/c…
1
5
269
28 Mar 2024
Slowly getting somewhere with generating images (soon 3D scenes?) with Stable Diffusion directly inside Unity with local inference.
no API, no subscription, no python
#madewithunity #unitysentis
12
16
155
12,361
20 Mar 2024
The startup I'm part of, in addition to having participated in GDC 2024 with our new game, is opening a campaign on Kickstarter for anyone who wants to collaborate and a community on Discord.
#gdc2024 #unity #unitysentis #indiegame #gaming #startup
linkedin.com/feed/update/urn…
1
163