Appearance
AM3D Viewerの操作・品質調整・利用パターン
Windows版 Anything Media 3D Viewer
Windows版のAnything Media 3D Viewerは、通常の2D動画・画像をDepth Anything V2で深度推定し、Looking Glassで立体映像として再生するアプリケーションです。仕様書では、Windows 10/11 64bit、DirectX 11対応GPU、Looking Glassディスプレイが必要環境として整理されています。
必要・推奨環境
| 項目 | 内容 |
|---|---|
| OS | Windows 10/11 64bit |
| GPU | DirectX 11対応GPU。NVIDIA GTX 1060以上またはAMD RX 580以上推奨 |
| VRAM | 6GB以上推奨 |
| RAM | 16GB以上推奨 |
| ストレージ | SSD推奨 |
| Looking Glass | 必須 |
| 対応動画 | MP4 / MOV / AVI、H.264推奨 |
| 対応画像 | PNG / JPG / JPEG |
| 開発環境 | Unity 2022.3 LTS以上、Unity Sentis、Looking Glass SDK、uWindowCapture、StandaloneFileBrowser、FFmpeg |
処理フロー
事前処理とキャッシュ
| 項目 | 内容 |
|---|---|
| キャッシュ内容 | 深度動画、深度連番、パラメータJSONなど |
| 初回処理 | 動画長とGPU性能に依存 |
| 2回目以降 | 事前処理キャッシュにより高速再生 |
| キャッシュ済み再生FPS | 30〜60fpsを目標 |
| 再生時レイテンシ | 低遅延再生を目標 |
| 注意 | キャッシュサイズは動画時間・解像度・保存形式に依存 |
ローカル推論時の性能目安
| 設定 | FPS | GPU使用率 | メモリ使用量 |
|---|---|---|---|
| 低解像度 | 45〜60fps | 40〜60% | 2〜3GB |
| 標準解像度 | 30〜45fps | 60〜80% | 3〜4GB |
| 高解像度 | 20〜30fps | 70〜90% | 4〜5GB |
主な出典: AnythingMedia3DConverter (AM3D) 仕様書、AnythingMedia3DConverter (AM3D) 操作説明書、XSE深度推定アプリ：Anything Media 3D Viewer
iPad版構想とUnity実装方針
iPadでは、現行のVideo-Depth-Anything高品質推論を端末上で安定実行するのは困難と整理されています。理由は、モデルサイズ、推論時メモリ、動画処理負荷が大きく、iPadOSのメモリ制限によりクラッシュする可能性があるためです。
そのため、現方針では、深度推定はクラウド側で行い、iPad側ではRGBD SBSの再生、メッシュ化、多視点化、Quilt / レンチキュラー変換、Looking Glass表示を担う構成が検討されています。
なお、資料上で明確に確認できる動作済み範囲は、Cloud API単体での変換と、Unity/iPad向け仕様の整理です。iPad Unityアプリ上で、動画送信からLKG表示までの全工程が安定動作済みであるとは、本記事では扱いません。
主な出典: UNITY_IPAD_APP_SPEC、HANDOFF_TO_MACBOOK、AM3D_Cloud_API_Report
iPad Unityアプリの想定構成
| 項目 | 仕様 |
|---|---|
| Unity | Unity 6系を想定 |
| URP | URP v17以降を想定 |
| LKG Plugin | Looking Glass Unity Plugin 4.0-alpha系を想定 |
| ターゲット | iPadをクライアント、Looking Glass Portraitを表示先として想定 |
| 入力 | ローカルSBS動画、クラウド変換動画 |
| 再生 | UnityEngine.Video.VideoPlayerでRenderTextureへ再生 |
| RGBD分離 | 左半分をカラー、右半分を深度として扱う |
| フォーカス | 中央付近の深度を参照して自動追従する構成 |
| 背景補完 | AutoEdge、Solid、Transparentなど |
| キャッシュ | アプリ永続領域にRGBDキャッシュを保存する構成 |
LKG Plugin 4.0-alpha
iPad UnityアプリではLooking Glass Unity Plugin 4.0-alphaを使う方針です。関連リンクは以下です。
iOSファイル選択・保存
iOSでの動画選択には、NativeFilePickerまたはUIDocumentPickerViewControllerのネイティブプラグインを使う方針です。フォトライブラリ保存にはNativeGalleryが候補として挙げられています。
操作体系
Windows版Anything Media 3D Viewerでは、キーボード・マウスによる操作が整理されています。展示用途では設定変更を制限する場合もありますが、開発・調整時には以下の操作を使います。
基本操作
| 操作 | 内容 |
|---|---|
V | 動画ファイル選択 |
Space | 再生 / 一時停止 |
C | 深度カラー表示ON/OFF |
I | 深度反転 |
D | FPS / デバッグUI表示ON/OFF |
H | 操作ガイド表示ON/OFF |
Esc | アプリ終了 |
T長押し | 一時平面化、文字を読みやすくする |
F | 深度履歴リセット |
R | 設定リセット、または解像度モード切替として記録あり |
シーク操作
| 操作 | 内容 |
|---|---|
← / → | 10秒戻る / 進む |
Shift + ← / → | 1秒戻る / 進む |
Ctrl + ← / → | 0.1秒単位の精密シーク |
LKG表示調整
| 操作 | 内容 |
|---|---|
| 左ドラッグ | LKGカメラのX/Y移動 |
| 右ドラッグ | LKGカメラ回転 |
| マウスホイール | Z軸ズーム、ピント調整 |
| 中クリック | ピント位置リセット |
Q / W | FOV調整 |
A / S | カメラサイズ調整 |
Z / X | Depthiness調整 |
B | カメラ位置リセット |
高度機能
| 操作 | 内容 |
|---|---|
Ctrl + F | 自動ピントON/OFF |
Ctrl + M | ピント合わせモード切替 |
Ctrl + N | ピント詳細設定 |
Ctrl + K | パラメータ記録ON/OFF |
Ctrl + Delete | 現在時刻または直近キーフレーム削除 |
Ctrl + P | PNG連番優先モード切替 |
Ctrl + R | リアルタイムAI推論モード切替 |
PageUp / PageDown | キャプチャ対象モニター切替 |
パラメータと表示品質調整
AM3Dでは、深度の強さ、手前・奥の範囲、ピント、自動ピント速度、処理解像度などを調整できます。
| パラメータ | 内容 | 記録値 |
|---|---|---|
baseShortSide | 深度推定時の短辺解像度 | 初期270前後、資料によって300px記録あり |
depthRangeMultiplier | 立体感の強さ | 初期1.0、範囲0.1〜5.0 |
targetMinZ | 手前側のZ範囲 | 初期-0.1、範囲-1.0〜0 |
targetMaxZ | 奥側のZ範囲 | 初期0.25、範囲0〜1.0 |
invertDepth | 深度反転 | 初期false |
autoFocusEnabled | 自動ピントON/OFF | 資料により初期falseまたは推奨ONとして記録 |
autoFocusLerpSpeed | ピント移動速度 | 初期0.2、範囲0.01〜10.0 |
nearFocusThreshold | 手前ピント判定 | 初期0.3 |
farFocusThreshold | 奥ピント判定 | 初期0.6 |
depthSmoothingFactor | 深度変化の滑らかさ | 初期0.01、範囲0.01〜1.0 |
自動ピント合わせには、CenterOfMassとForemostの2モードが記録されています。手前領域がnearFocusThresholdを超えると手前ピント、奥領域がfarFocusThresholdを超えると奥ピント、それ以外は中央値ピントになります。
素材選びの指針
AM3Dの深度推定品質は入力映像に大きく依存します。資料では、以下のような素材が効果的と整理されています。
| 良い結果が出やすい素材 | 理由 |
|---|---|
| 背景と被写体の区別がはっきりしている映像 | AIが手前と奥を推定しやすい |
| 手前の被写体が明確な画像・動画 | 立体感が出やすい |
| 被写体が大きく映る製品・建築物の映像 | 展示用途で効果が出やすい |
| 静止背景に対して被写体が動く映像 | 深度変化が安定しやすい |
| 単眼カメラ映像 | ほかに立体化手段がない場合に疑似立体化の価値がある |
一方で、以下の素材は注意が必要です。
| 注意が必要な素材 | 理由 |
|---|---|
| 汎用的な説明動画 | 立体感が出にくい場合がある |
| 急なカット変更が多い動画 | 深度推定が不安定になりやすい |
| 極端な動きが多い映像 | フレーム間の深度変化が目立つ場合がある |
| 被写体と背景の境界が曖昧な映像 | 手前・奥の判定が崩れやすい |
| 長尺動画 | クラウド処理時間・コスト・タイムアウトに注意 |
展示・デモでの利用パターン
AM3D / Anything Media 3D Viewerは、展示会や法人向けデモでの利用を想定して整理されています。公開版では、個別の顧客名や案件名は扱いません。
| 利用パターン | 内容 |
|---|---|
| 展示会向けループ再生 | 事前に調整した動画をLooking Glass上で自動ループ再生する |
| 画面ミラーリングデモ | サブディスプレイや特定ウィンドウをキャプチャし、AI深度推定して立体表示する |
| 既存動画の立体化提案 | 既存の説明動画や案内動画をRGBD化し、Looking Glass向けに表示する |
| 博物館・文化財領域 | 古写真や3Dスキャンデータの立体再現展示 |
| 建設・設計領域 | CAD、BIM、ドローン映像などの3Dビジュアライズ |
長時間ループ再生は展示用途で想定されていますが、具体的な連続稼働時間は、端末、GPU、動画形式、再生方式、熱設計、キャッシュ有無に依存します。展示前には、実際の機材構成で事前検証する必要があります。