Appearance
QDA vs QuestパススルーAPI
要点まとめ
QuestDisplayAccessDemoのポイント
- Meta Questの画面に表示されている内容にアクセスするためのコミュニティ開発のサンプルコード.
- Androidの
MediaProjectorAPIを利用して画面イメージをUnityのテクスチャにコピー. - PC接続不要でQuest単体で動作し、基本的な機能は開発者モードも不要.
- Quest 3での視野角は約82度、テクスチャ解像度は1024x1024.
- 現在、左目のバッファからフレームをキャプチャ.
- 主な目的は、直接的なカメラ入力の代替として基本的なAR機能を実現すること.
- QRコードの読み取りなどの利用例あり.
- 数フレームの遅延が発生する.
- 計算リソースを消費し、パフォーマンスに影響を与える可能性.
- QRコードの向きトラッキングはQuest 3/3S限定.
- 特定のシステムソフトウェアバージョン(v68以降)が必要な可能性.
- QuestLink経由では動作しない.
- アプリケーション実行中は通常のビデオ録画ができない.
- 仮想オブジェクトが現実オブジェクトを隠してしまう.
- 低遅延や現実世界との真の統合が重要ではない、非常に基本的なARオーバーレイ向け.
- ストア提出を必要としない内部ツールや実験的なプロジェクト向け.
- 現在ではパススルーAPIの登場により、利用ケースは限定的.
QuestパススルーAPIのポイント
- Quest 3およびQuest 3Sの前面カメラからの生のカメラフィードに直接アクセス可能にするMeta公式の機能.
- 内部的にはAndroidのCamera2 APIを利用.
- Unityの
WebCamTextureAPIを通じて統合. - ユーザーからのカメラアクセス許可が必要.
- カメラあたり最大1280x960ピクセル、30FPS、レイテンシは40〜60ミリ秒.
- 一度にアクセスできるのは左右いずれか一方のカメラのみ.
- 主な目的は、仮想世界と物理世界をシームレスに融合させた複合現実体験の実現.
- 物理オブジェクトの認識とデジタル統合、環境に応じたインタラクション、機械学習モデルの実行、高精度なQRコードスキャン、現実世界に反応するAR要素の作成など、多様な利用シナリオ.
- 現在実験的な段階であり、ストア提出が一時的に制限される可能性.
WebCamTextureの制約(タイムスタンプなし、最大解像度、クロッピングの可能性など)あり.- 一度に処理できる許可リクエストは1つのみ.
- オンデバイスでのML/CV実行はパフォーマンスに影響を与える可能性.
- Horizon OS v74以降およびQuest 3/3Sが必要.
- Unityエディターでのカメラアクセスはテストには利用不可.
- 真に没入型でインタラクティブな複合現実体験の作成を目指す開発者向け.
- 物理環境とのオブジェクト認識やインタラクションを必要とするアプリケーション向け.
- 位置情報やコンテキストに応じたインタラクションを含むユースケース向け.
主な比較表
| 機能 | QuestDisplayAccessDemo | QuestパススルーAPI |
|---|---|---|
| 機能 | レンダリングされた画面コンテンツへのアクセス | 生のカメラフィードへのアクセス |
| カメラアクセス | 間接的(ディスプレイ経由) | ヘッドセットカメラへの直接アクセス |
| 解像度 | 1024*1024 | 1280*960 |
| (将来的に1280*1280になる可能性あり) | ||
| 同時アクセス可能なカメラ数 | 左目のレンダリング出力にアクセス | 一度に1つのカメラ(左右いずれか)のみアクセス可能 |
| 主な目的 | 基本的なARの代替手段、画面情報に限定 | 高度で没入型の複合現実体験を可能にする |
| レイテンシ | 顕著(数フレーム) | 40〜60ミリ秒と報告 |
| パフォーマンス | ディスプレイキャプチャは計算負荷が高い | カメラデータ処理(特にMLの場合)は負荷が高い可能性あり |
| ハードウェア | QRトラッキングは向きの認識においてQuest 3/3Sに限定 | 現在Quest 3および3Sで利用可能 |
| 基盤となるAPI | Android MediaProjector API | Android Camera2 API、Unity WebCamTexture |
| 遮蔽 | 仮想オブジェクトが現実オブジェクトを隠す | 現実オブジェクトが仮想オブジェクトを遮蔽することが可能 |
| ストア提出 | 一般的に許容される(コミュニティプロジェクトのため) | 現在実験的、一時的にアプリ提出が制限される可能性あり |
QDAを使用する用途は、CGこみの映像が欲しい場合に限ると感じる。
どちらともQuest3以上が必要となる。
スクショ比較
視点中央にキャプチャした映像が投影されるようなアプリを作製した。
QDA


このようにシーンに置いたものもとらえることができる。(映しているRawImageをさらにとらえているため画像のようになっている。
QuestパススルーAPI

画質には大きな差はないがQuest3が長方形でQDAが正方形。 ただしQuestパススルーAPIも今後正方形になりQDAより高画質になる可能性あり。(比較表参照)
Author: 水上 | Source:
水上\QDA vs QuestパススルーAPI 1ceaba435ee78009b695cde22c14b90d.md