Skip to content

QDA vs QuestパススルーAPI

要点まとめ

QuestDisplayAccessDemoのポイント

  • Meta Questの画面に表示されている内容にアクセスするためのコミュニティ開発のサンプルコード.
  • AndroidのMediaProjector APIを利用して画面イメージをUnityのテクスチャにコピー.
  • PC接続不要でQuest単体で動作し、基本的な機能は開発者モードも不要.
  • Quest 3での視野角は約82度、テクスチャ解像度は1024x1024.
  • 現在、左目のバッファからフレームをキャプチャ.
  • 主な目的は、直接的なカメラ入力の代替として基本的なAR機能を実現すること.
  • QRコードの読み取りなどの利用例あり.
  • 数フレームの遅延が発生する.
  • 計算リソースを消費し、パフォーマンスに影響を与える可能性.
  • QRコードの向きトラッキングはQuest 3/3S限定.
  • 特定のシステムソフトウェアバージョン(v68以降)が必要な可能性.
  • QuestLink経由では動作しない.
  • アプリケーション実行中は通常のビデオ録画ができない.
  • 仮想オブジェクトが現実オブジェクトを隠してしまう.
  • 低遅延や現実世界との真の統合が重要ではない、非常に基本的なARオーバーレイ向け.
  • ストア提出を必要としない内部ツールや実験的なプロジェクト向け.
  • 現在ではパススルーAPIの登場により、利用ケースは限定的.

QuestパススルーAPIのポイント

  • Quest 3およびQuest 3Sの前面カメラからの生のカメラフィードに直接アクセス可能にするMeta公式の機能.
  • 内部的にはAndroidのCamera2 APIを利用.
  • UnityのWebCamTexture APIを通じて統合.
  • ユーザーからのカメラアクセス許可が必要.
  • カメラあたり最大1280x960ピクセル、30FPS、レイテンシは40〜60ミリ秒.
  • 一度にアクセスできるのは左右いずれか一方のカメラのみ.
  • 主な目的は、仮想世界と物理世界をシームレスに融合させた複合現実体験の実現.
  • 物理オブジェクトの認識とデジタル統合、環境に応じたインタラクション、機械学習モデルの実行、高精度なQRコードスキャン、現実世界に反応するAR要素の作成など、多様な利用シナリオ.
  • 現在実験的な段階であり、ストア提出が一時的に制限される可能性.
  • WebCamTextureの制約(タイムスタンプなし、最大解像度、クロッピングの可能性など)あり.
  • 一度に処理できる許可リクエストは1つのみ.
  • オンデバイスでのML/CV実行はパフォーマンスに影響を与える可能性.
  • Horizon OS v74以降およびQuest 3/3Sが必要.
  • Unityエディターでのカメラアクセスはテストには利用不可.
  • 真に没入型でインタラクティブな複合現実体験の作成を目指す開発者向け.
  • 物理環境とのオブジェクト認識やインタラクションを必要とするアプリケーション向け.
  • 位置情報やコンテキストに応じたインタラクションを含むユースケース向け.

主な比較表

機能QuestDisplayAccessDemoQuestパススルーAPI
機能レンダリングされた画面コンテンツへのアクセス生のカメラフィードへのアクセス
カメラアクセス間接的(ディスプレイ経由)ヘッドセットカメラへの直接アクセス
解像度1024*10241280*960
(将来的に1280*1280になる可能性あり)
同時アクセス可能なカメラ数左目のレンダリング出力にアクセス一度に1つのカメラ(左右いずれか)のみアクセス可能
主な目的基本的なARの代替手段、画面情報に限定高度で没入型の複合現実体験を可能にする
レイテンシ顕著(数フレーム)40〜60ミリ秒と報告
パフォーマンスディスプレイキャプチャは計算負荷が高いカメラデータ処理(特にMLの場合)は負荷が高い可能性あり
ハードウェアQRトラッキングは向きの認識においてQuest 3/3Sに限定現在Quest 3および3Sで利用可能
基盤となるAPIAndroid MediaProjector APIAndroid Camera2 API、Unity WebCamTexture
遮蔽仮想オブジェクトが現実オブジェクトを隠す現実オブジェクトが仮想オブジェクトを遮蔽することが可能
ストア提出一般的に許容される(コミュニティプロジェクトのため)現在実験的、一時的にアプリ提出が制限される可能性あり

QDAを使用する用途は、CGこみの映像が欲しい場合に限ると感じる。

どちらともQuest3以上が必要となる。

スクショ比較

視点中央にキャプチャした映像が投影されるようなアプリを作製した。

QDA

1271.jpg1281.jpg

このようにシーンに置いたものもとらえることができる。(映しているRawImageをさらにとらえているため画像のようになっている。

QuestパススルーAPI

1261.jpg

画質には大きな差はないがQuest3が長方形でQDAが正方形。 ただしQuestパススルーAPIも今後正方形になりQDAより高画質になる可能性あり。(比較表参照)


Author: 水上 | Source: 水上\QDA vs QuestパススルーAPI 1ceaba435ee78009b695cde22c14b90d.md