Skip to content

scaniverse spz

  • [x] ScaniverseをiOS端末にインストール
  • [x] splatスキャンしてspzでエクスポート
  • [ ] spzをUnityにインポートして表示してみる
  • [ ] WebARで表示できるか試してみる(余力あれば)

12/20

Scaniverseのインストール

iPhone13なので3Dスキャン系のアプリを入れられるのか…?と思っていたが、互換性の多さに驚き。

splatスキャンしてspzでエクスポート

アプリ内にsplatスキャンを確認。どうやら位置情報を使用するようで、スキャンした箇所に履歴のような形で残り、ほかの人も閲覧できるようになるっぽい。

→家の中では無理。(外にいく恰好ではなかったので後日スキャンしに行くことに)

12/23

何ヶ所かスキャン

splatスキャン2箇所

IMG_1342.jpegIMG_1346.jpeg

メッシュスキャンとの比較

IMG_1338.jpeg

→やはり画質や制度に違いが出る。

iPhoneからPCへのspzファイルの移動

方法はいくつかあるが今回はgoogleドライブを利用

ほかの方法もこのサイトで紹介されていた↓

https://hololab.zendesk.com/hc/ja/articles/32867975410969-5-ScaniverseによるスキャンとAssistsへの適用方法

12/24

spzをUnityにインポートして表示してみる

とりあえずsplatをunityで表示する方法を模索

SplatVFXがきれいだし面白そう、かつたるこすさんがつかったとのことだったので、試してみることに。

参考サイト:

https://github.com/keijiro/SplatVFX

https://zenn.dev/bison/articles/6f5328f36eeb6b

image.png

とりあえずデモまで試すことに成功。

spzファイル読み込み → ファイルをsplatとして使える形に編集 → SplatVFXで表示

という道筋で頑張ってみる。

UnityGaussianSplattingを使用する方向に

cahtGPTo1に

下記のサイトにあるpythonをもとにc#への変更と表示まで一度やってもらった。

https://qiita.com/Cartelet/items/9cedd9d2499f5c1ca992

その実行結果

image.png

色はおかしいけど形はそれっぽい。あと、UnityGaussianSplattingを本当に使っているのかは正直不明。

以下コード(長いので.txtでの共有)

プログラム1.txt

プログラム2.txt

12/27

色はつくように。

unity6を使用していたが、Unity2022.3.18f1に

image.png

形がおかしい

座標とスケールに問題があるかも

そもそもUnityGaussianSplattingってなんだ…?

https://note.com/onemorevision/n/nc578086e364f

これをもとに作り直してみる。

image.png

なぜか3角形まみれに。。。ガウス分布ができていないのかもしれない。

現状のコードを共有

SPZParser.txt

GpuSplatRenderer.txt

3DGaussianSplat.txt

chatGPTの学習を一度リセットするためにあたらしいほうで与える情報を絞って再チャレンジ 何度か行った結果ここまで来た。

SPZLoader.txt

GaussianShader.txt

結果

image.png

やはり、αブレンドと色合いがおかしい。

修正するとすこしはいろが出るように。しかし、なぜかパステル

image.png

現状 https://github.com/nianticlabs/spz/commit/bf305418722bb0663a3074f3828699df44b8c1d2#diff-d71f1de81adb93abdc56bb554b9b8d82355f136832d72b39b2baf69dbb5770ee

https://qiita.com/Cartelet/items/9cedd9d2499f5c1ca992 のコードをchatGPTに読ませてパーサの作成 そのパーサをもとにshaderの作成を試行錯誤

splat編集アプリ

SuperSplat

Web3D Engines (example for Babylon.js)

https://github.com/drumath2237/spz-loader


Author: 水上 | Source: 水上\scaniverse spz 5f7194d34ad641ebb6a66f89a2bc63b5.md