XIA Wiki

Appearance

AM3D — Looking Glass向け2D→3D変換・再生システム総合ガイド ​

概要 ​

AM3D（Anything Media 3D / Anything Media 3D Viewer）は、通常の2D動画・画像・画面キャプチャなどをAIで深度推定し、Looking Glassディスプレイ上で立体表示するための機能群です。

初期のWindows版では、Depth Anything V2を使ったローカル深度推定、事前処理キャッシュ、画面キャプチャ、パラメータ記録、Quilt再生、レンチキュラー保存などが開発されました。その後、動画向けにはVideo-Depth-Anythingを使ったクラウド深度推定方式が検討され、端末側の再生・表示機能と組み合わせる構成へ整理されています。

2026年4月時点では、AM3Dは単体製品ではなく、3DViewerに統合される2D→3D変換・デモ・再生機能として位置づけられています。

主な出典: 0421：AM3D製品化の検討、AM3D方向性、0225クラウド処理、API化、AM3D_Cloud_API_Report

はじめに — 初学者向け 前提知識 ​

AM3Dを理解するには、2D映像を立体表示するために必要な「深度」「RGBD」「Quilt」「レンチキュラー」などの概念を押さえる必要があります。ここでは、初めてこの領域に触れる人向けに、主要な用語を平易に整理します。

用語意味
AM3DAnything Media 3Dの略称。通常の2D画像・動画・画面キャプチャを、AI深度推定やQuilt再生などを通じてLooking Glass向けに立体表示するシステム／機能群。
Looking Glass / LKG裸眼で立体視できるライトフィールドディスプレイ。専用メガネなしで複数視点の映像を表示できる。
深度推定1枚の画像や動画フレームから「どの部分が手前で、どの部分が奥か」をAIで推定する処理。AM3Dでは2D素材を疑似的に3D化する入口になる。
深度マップ近い／遠いを白黒などで表した画像。AM3DのRGBD SBSでは、白が近く、黒が遠い深度として扱う。
RGBDRGB（カラー画像）とDepth（深度マップ）を組み合わせた形式。カラーと奥行きの両方を持つため、後段で立体表示に変換できる。
SBS（Side-by-Side）左右に2つの映像を並べる形式。AM3DのRGBD SBSでは、左半分がカラー映像、右半分が深度マップ。
QuiltLooking Glassで使われる多視点画像の集合形式。複数の視点画像をタイル状に並べた画像／動画で、LKG側で立体表示に使われる。
レンチキュラーLooking Glass個体のキャリブレーション値を使って、最終的にディスプレイに表示するために合成された映像。個体依存のため、書き出したデータは基本的にそのLKG専用になる。
キャリブレーションJSONLooking Glass個体ごとの表示補正情報。pitch、slope、center、viewCone、DPIなどを含み、正しいレンチキュラー合成に必要。
Depth Anything V2静止画やフレーム単位の深度推定で使われるAIモデル。Windowsローカル版の系譜で利用された。
Video-Depth-Anything動画向け深度推定AI。時間的整合性が高く、フレーム間の深度の揺れを抑えやすいため、クラウド深度推定方式で採用候補になった。
Temporal Consistency動画の前後フレームで深度が不自然に変動しない性質。Looking Glassでは深度のブレが「プルプル」「歪み」として目立つため重要。
ModalサーバーレスGPUクラウド。AM3DではVideo-Depth-AnythingをGPU上で実行する構成の検証に使われた。
Unity SentisUnity上でAIモデルを実行するための仕組み。Windows版のDepth Anything V2ローカル推論で使用された。
FFmpeg動画変換・フレーム抽出・音声合成などに使うツール。AM3Dでは深度マップ連番の動画化、Quilt動画処理、音声付きMP4生成などで利用される。

AM3Dが存在する理由は、Looking Glass向けの立体コンテンツ制作において「最初から3Dモデルや多視点映像を用意する」のが難しいケースが多いためです。既存の説明動画、展示用映像、写真、画面キャプチャなどを活用して立体表示できれば、展示・教育・営業デモでの活用範囲が広がります。

ただし、AIによる2D→3D変換は万能ではありません。AM3Dの深度推定は、被写体が大きく映る製品・建築物・単眼カメラ映像などでは効果が出やすい一方、汎用的な説明映像では期待したほど立体にならない場合があります。そのため、2026年4月時点では、AM3DはLooking Glassの主用途そのものではなく、3DViewerに内包する補助機能・デモ機能として整理されています。

AM3Dの現在位置づけ ​

2026年4月時点では、AM3Dは独立した販売製品としてではなく、3DViewerに統合される機能として整理されています。主な用途は、展示・デモ・法人提案において、既存の2D映像をLooking Glass向けに立体表示することです。

項目最新整理
製品上の扱いAM3D単体ではなく、3DViewerの一機能として統合
主な用途展示・デモ・提案における2D動画・画像の立体表示
対象主に法人向けのデモ・提案用途
iOS / iPad当面は限定的な配布・検証を前提
クラウド処理範囲深度推定とRGBD SBS生成まで
端末側処理メッシュ化、多視点化、Quilt生成、レンチキュラー変換、LKG表示
フルクラウド方式レンダリングまでクラウドで行う構成は、コストと遅延の観点から主構成にしない
Quiltプレイヤー3DViewer内の再生・変換機能として扱う方針

主要機能 ​

AM3Dは複数の開発系譜を持ちます。Windows版のAnything Media 3D Viewer、Depth Anything V2を使ったローカル推論、Quilt再生アプリ、クラウドAPI連携機能が統合的に扱われています。

機能内容主な対象
2D動画の3D化MP4 / MOV / AVIなどをAIで深度推定し、Looking Glassで立体再生Windows / クラウド変換
2D画像の3D化PNG / JPGなどを1枚処理して3Dメッシュを生成Windows
画面ミラーリングデスクトップ全体や特定ウィンドウをリアルタイムにキャプチャして立体表示Windows
事前処理モード全フレームを先に深度推定し、キャッシュ化して後から滑らかに再生Windows
リアルタイム推論モードフレームごとにAI推論しながら表示高性能GPU搭載Windows
RGBD SBS再生左がカラー、右が深度の動画を読み込み、立体化して表示Windows / iPad構想
Quilt再生Quilt画像・動画を読み込み、LKG表示用にレンチキュラー変換Windows / Unity
レンチキュラー保存QuiltからLKG個体専用のレンチキュラー画像・動画を保存Windows / Unity
自動ピント合わせ深度に応じて最適なZ位置へ自動追従Windows / iPad構想
パラメータ記録・再現カメラ位置、深度設定、LKG設定などを動画時刻と紐付けて保存・再現Windows
深度カラー表示深度を色で可視化して調整に使うWindows
背景色自動調整動画の平均色に合わせてLKG背景色を自動調整Windows
クラウド深度推定Video-Depth-AnythingをクラウドGPU上で実行し、RGBD SBSを返す端末制約がある環境

関連外部リンク ​

Looking Glass / Unity ​

クラウドGPU / 深度推定 ​

iOS / Unity実装補助 ​

クラウドGPU比較・調査 ​

まとめ ​

AM3Dは、2D動画・画像・画面キャプチャをAIで深度推定し、Looking Glass上で立体表示するための技術群です。初期はWindowsローカル推論とDepth Anything V2を中心に開発され、事前処理キャッシュ、画面ミラーリング、自動ピント、パラメータ記録などを備えたアプリとして成熟しました。

現在の方向性は、Video-Depth-Anythingを使ったクラウド深度推定と、端末側レンダリングを組み合わせる構成です。iPadのように高品質ローカル推論が難しい端末では、深度推定はクラウド、メッシュ化・Quilt生成・レンチキュラー変換は端末側という分担が現実的です。製品面では、AM3Dを単体で扱うのではなく、3DViewerの機能として統合し、展示・デモ・変換用途で活用する方針です。

出典 ​

  • AM3Dパラメータ手動調整
  • AM3D製品化
  • 深度推定：事前処理版開発
  • 製品方向性の検討
  • LKG キルト：再生アプリ3
  • HANDOFF_TO_MACBOOK
  • UNITY_IPAD_APP_SPEC
  • 0224クラウド検証：AM3D Cloud API 構築
  • 0224再調査
  • 0224社内説明会
  • AM3D_Cloud_API_Report
  • 0225クラウド処理、API化
  • 0226：AM3D・LKG 3DViewer 事業計画
  • 0304議事録
  • 0323：公開方法と課金モデルの選択肢
  • 0421：AM3D製品化の検討
  • 0421：AM3D（クラウド深度推定） LKG販売戦略 検討
  • 会議議事録まとめ（0304＆0306）
  • AM3D方向性
  • AnythingMedia3DConverter (AM3D) 仕様書
  • AnythingMedia3DConverter (AM3D) 操作説明書
  • AM3D
  • テーマ深堀会：AM3D
  • Anything Media 3D Viewer【製品開発】
  • 🎬 Anything Media 3D Viewer
  • 仕様書250603
  • 説明書250603
  • XSE深度推定アプリ：Anything Media 3D Viewer
  • 0304

詳細ページ ​