Joined January 2019
- Tweets 22,007
- Following 1,008
- Followers 14,823
- Likes 33,226
4,137 Photos and videos
Pinned Tweet
『あなたの3Dシーンが歩ける世界になる』
🔍 数百万点の3DGS点群からブラウザ内で地形を自動解析→歩行可能エリアを検出
🚶 アバターが自律歩行
☁️ サーバー不要、ブラウザオンリー
📱 スマホもタッチ操作で動く
SplatStroll Avatar テスト版を公開しました！
URL👇
3
81
441
150,911
DJIのドローンが生成するSRTファイル（テレメトリ）を解析し、動画から切り出した静止画のEXIFに位置情報を書き込む前処理ならOSS実装がいくつかある。
切り出し画像中のExifを使い、スケールと位置をSfM時に合わせて3DGSの3DTiles化するのが一番汎用的に使えそう。
1
6
410
地図に重畳するようなGIS用途の場合です。
最近のAIコーディングならこういうデータ変換系は、さくっと自分の用途にあった、使いやすいツールに仕上げてくれるので自作でもいいですね。
1
2
253
GNSSの誤差は数メートルあるが、フレーム間（例えば1秒間隔）で数メートル単位でランダムに暴れるわけではない。全体が塊として数メートルずれている（絶対位置のオフセット）であり、フレーム間の相対的な位置関係のバラツキは小さい。
オフセット調整すればGNSSでも十分な用途もあります。
1
99
ソース本来の実力なら3DGSの解像度はまだまだ上げられるのですが、LoDの更新ロード待ちの時間を考えると20M Splatsが落としどころ。
ここ最近、3DGSのLoD実装が様々登場していますが、Webで広域、高解像度データを扱うのは相変わらずハードル高い。
まるで本物の森に迷い込んだよう。
白駒池の苔の森3DGS [20M Splats]
5,500枚の写真から生まれた超高精細3D Gaussian Splattingデータです。 倒木の苔のフワフワ感、登山道の空気感まで再現。
SuperSplatを使って、PCやスマホからこの美しい登山道を歩いてみてください！
URLはこちら👇
1
17
1,233
ミラーレスの写真ソースの3DGSの品質が一番といっても、そこまで360度カメラやSLAMの3DGSと差があるわけではないのでは？と思われている節もありそう。
品質差は明確にあります。
そもそも面積あたりのデータ量と質が圧倒的に違う。
1
5
455
ただし、ミラーレスは撮影時間がかかる物理制約で、光源等の環境変化の発生と、カメラ位置推定（SfM等）の難しさのマイナス要因がある。
結果、単体のソース品質より、データセット全体の扱いやすさが上回り、最終的な3DGSの仕上がりが比例しないことがある。
3
280
Claude Fable 5の試用開始。粘り強く考えていい感触。
サブスクで使えるのは当面6/22までという事なので、先送りにしていた高難易度タスク実装でどんどん試してみる。
最近CODEXメインだったが、Claude復帰あるか。
1
15
2,736
なんだと…😱
Claude Fable 5が米国輸出管理指令で一時停止だと。
Fable 5ロスだ。
3
7
746
広域3DGSシーンの道をブラウザ内で（前処理無しで）その場で解析し、アバターが自律的に歩きます。
次バージョンのSplatStroll AvatarのAuto Stroll機能が劇的に性能向上。
ぱっと見ではデモ用途に見えますが、この機能の本質は別にある。
Claude Fable 5の性能に満足。
懸案だった3DGSのジオメトリ構造解析ベースのリアルタイム「道」検出アリゴリズムを実装中。このモジュールが動き出せばあれやこれやと組み合わせて面白いことができる。
1
16
102
10,190
火星も歩けた！
SuperSplatからDLできる火星ローバー”パーサヴィアランス”の3DGSデータをSplatStrollAvatarで表示し、アプリで動画化。
"Perseverance rover - Synthetic scene" by Tamás Máté (superspl.at/user?id=tmate)
Source: superspl.at/scene/8d5c3046
Licensed under CC BY 4.0
15
51
2,686
360 sfm splatting is over.
Insta360 is doing feedforward 360 Gaussian reconstruction.
MIT license.
insta360-research-team.githu…
5
21
206
13,597
ダックビル＠STUDIO DUCKBILL LLC retweeted
Jun 10
Everybody is stepping into the LOD game, and so is LichtFeld Studio.
Preview of 260M Gaussians streaming into the viewer live.
I use the RAD format which is processed on GPU within LichtFeld. It can be also simply dumped straight into the spark.js web viewer, albeit it will die at that amount of Gaussians.
What other solutions don't tell you is that they need hours to preprocess a 3DGS ply to make it streamable. This was just a ply exported to RAD by LichtFeld Studio's convert tool (took 5 min at that size) and it is immediately ready to stream.
In the comments there is a smaller dataset with 103M Gaussians that streams on startup into the viewer. Both datasets were created by Andrii Shramko.
Let's see how far I can push this (need bigger datasets)
14
31
271
22,792
実はこのような狭い通路でも歩きやすいように、小柄な女性アバターをVRoid Studioで作り、デフォルトで使えるようしています。
次のバージョンでは一人称視点やドローン視点もサポートするので、また違ったデモ用途に使えるようになると思います。
やはりスケールが正確だと合わせる手間はないし、こういうシーンでもすんなり違和感なく使えますね。嬉しいです。
#SplatStrollAvatar
1
1
17
1,934
これもXGRIDS PortalCamの45M Splatsの3DGS作例。
ドローンのバック方向へのフライスルー動画でも綺麗に出力できる。
3DGSの描画（LoDに限らず）では画面外の更新が遅延するため、ビューポートの直接キャプチャでは画質が落ちるという問題を解決しています。
XGRIDS PortalCamの砲台跡のトンネル3DGS。 SplatStroll Avatarでゲームパッド操作して、ドローン撮影機能で出力。
LCC2のLoDフォーマットはリアルタイムのビューポートではLoD更新でチラチラと書き換わりますが、後処理動画出力（実時間の何倍かかかる）ではかなり綺麗。 少しパカつくのが惜しい。
6
62
5,550
XGRIDS PortalCamの砲台跡のトンネル3DGS。 SplatStroll Avatarでゲームパッド操作して、ドローン撮影機能で出力。
LCC2のLoDフォーマットはリアルタイムのビューポートではLoD更新でチラチラと書き換わりますが、後処理動画出力（実時間の何倍かかかる）ではかなり綺麗。 少しパカつくのが惜しい。
チラッと。
ゲームパッドでドローン風に飛行した軌跡を、高品質な3DGSフライスルー動画で出力できるようになります。
この動画はアプリが出力したままの未編集。ポストエフェクトもアプリ内。
全ての処理がWebブラウザで完結。
8
40
9,944
このポストエフェクトは単なる白黒化ではないです。
墨絵（水墨画風）フィルターの試験実装。
チラッと。
ゲームパッドでドローン風に飛行した軌跡を、高品質な3DGSフライスルー動画で出力できるようになります。
この動画はアプリが出力したままの未編集。ポストエフェクトもアプリ内。
全ての処理がWebブラウザで完結。
2
31
2,134
ダックビル＠STUDIO DUCKBILL LLC retweeted
Jun 8
The most incredible 3DGS you will see today 🤯
A 20 million Gaussian scan by @DuckbillStudio of a primeval moss forest in Japan. 🌳
The sheer scale of splats continues to grow, covering ever larger areas. And this experience can be delivered to any device with a web browser. 🔥
5
20
183
10,555
チラッと。
ゲームパッドでドローン風に飛行した軌跡を、高品質な3DGSフライスルー動画で出力できるようになります。
この動画はアプリが出力したままの未編集。ポストエフェクトもアプリ内。
全ての処理がWebブラウザで完結。
9
64
12,230