作業記録 Wiki

Appearance

v1.9 ​

アプリ概要 ​

このアプリは、VR 空間で「チュートリアル」と「救急救命研修」の 2 フェーズを体験できるトレーニングアプリです。

DirectionArrow によるシーン遷移や Hotspot による情報収集、さらに会話型 AI を用いた質疑応答を通して、救急救命対応を学習・評価できます。

新機能 ​

  • チュートリアルシステム

    • VR 操作（DirectionArrow／Hotspot）の基本と、AI との会話を練習する専用フェーズを用意。

  • 研修難易度の選択機能

    • チュートリアル終了後、自動表示される難易度選択 UI から研修の難易度を選べます。

  • サーバー経由でのプロンプトやアプリ設定の変更機能

    • ブラウザからアプリ設定・プロンプトを編集し、サーバーへ保存した内容をアプリ側が読み込みます。

  • 研修採点システム

    • 研修中の行動トラッキングをもとに自動採点し、点数・ランク・記録内容・AI フィードバックを表示します。
    • 採点結果の抽出(格納したいフォルダをターミナルで開いて以下を実行)
    html
    $PACKAGE_NAME = "com.Xseeds.PanoramaViewerDemo"
$REMOTE_PATH = "/storage/emulated/0/Android/data/$PACKAGE_NAME/files/EvaluationResults"
adb pull $REMOTE_PATH EvaluationResults

アプリ構成 ​

  • チュートリアルフェーズ
    • VR 操作方法と AI との会話を練習するパート。
  • 研修フェーズ
    • 救急救命研修（既定のシナリオに沿ったトレーニング）を行うパート。

チュートリアルの流れ ​

  1. 基本操作の体験

    • DirectionArrow を使ってパノラマシーンを移動。
    • Hotspot をクリックして、シーン内に配置された情報を収集。

  2. AI との会話練習

    • VR 内のアシスタント AI と会話しながら操作に慣れます。

  3. チュートリアル終了条件

    • 最終的に「日本の首都はどこか？」を AI に尋ね、

    AI から「東京」というワードを引き出すと

    チュートリアル終了判定

    になります。

  4. 難易度選択 UI の表示

    • チュートリアル終了後、自動的に 研修難易度選択 UI が表示されます。
    • 難易度を選択すると、研修シーンへ遷移 します。

研修（救急救命研修）の流れ ​

  1. シナリオに沿った研修
    • 事前に定義された救急救命シナリオに沿って研修を進行。
    • 傷病者の状態や周辺情報を確認しながら、必要な情報を収集します。
  2. VR 空間での情報収集
    • パノラマ画像を DirectionArrow で切り替えながら移動。
    • VR 内の複数箇所に配置された Hotspot をクリックして、ヒントとなる情報を取得。
  3. AI への回答
    • 研修の最終段階で、傷病者の 病名 と 必要な処置 を AI に回答します。
    • 回答が正解と判定されると、研修終了 となります。
  4. 自動採点と結果表示
    • 研修中の行動トラッキング記録をもとに、自動で採点 が行われます。
    • 採点完了後、目の前に結果 UI が表示されます。
    • 結果画面では以下を確認できます：
      • 点数
      • ランク
      • 行動記録の内容
      • AI からのフィードバックコメント

サーバー経由の設定・プロンプト編集 ​

アプリの各種設定やプロンプトは、ブラウザ上の設定ページから編集できます。

設定ページ：https://realtime-cloudrun-bridge-867568173731.asia-northeast1.run.app/config.html

  • 保存ボタン
  • フォームに入力した内容をサーバー上の設定ファイルとして 上書き保存 します。
  • リロードボタン
  • サーバーに現在保存されている設定ファイルの内容を取得し、フォームへ 反映 します。
  • アプリ側
  • サーバーに保存された設定ファイルを 起動時などに読み込み、動作に反映します。

プロンプト・設定項目の説明 ​

アプリ設定タブ

  • スタートアッププロンプト
    • 研修シーン開始時に再生される 案内音声の内容（GeminiTTS で読み上げ）。
    • 例：研修の概要や進め方の説明など。
  • システムプロンプト
    • 研修シーンでアシスタントとして動作する AI のベースプロンプト。
    • AI の性格・口調・回答方針などをここで指定します。
  • シーンプロンプト
    • ユーザーが見ている パノラマ画像に関する情報 を記述するプロンプト。
    • VR 内の各 Hotspot に紐づく「アイテム名」と「その説明・情報」をここで管理します。
    • これにより、ユーザーが Hotspot をクリックしたときに表示される情報や AI の説明内容が変化します。

チュートリアルタブ

  • ウェルカムメッセージ

    • チュートリアルシーン開始時に再生される 音声案内の内容。
    • チュートリアルの目的や基本操作のガイドをここに記述します。

  • システムプロンプト（チュートリアル）

    • チュートリアルシーンでアシスタントとなる AI のプロンプト。
    • 操作説明や会話練習に適したキャラクター設定や、話しかけ方のルールをここに記述します。

  • 会話終了文言

    • チュートリアルの 終了判定のトリガーとなるワード を設定します。
    • この文言は AI が発言するもの であり、チュートリアル用システムプロンプトで

    「このフレーズを最後に必ず発言する」ように設定してください。

評価基準タブ

  • 評価基準
    • 研修シーンでの行動記録から 自動採点を行うための基準 を定義します。
    • 例：
    • 必須の観察ポイントをチェックしたか
    • 適切なタイミングで AI に質問したか
    • 最終回答の正確さ など
    • これらの設定に基づいて、点数・ランク・フィードバックが決まります。

操作方法（VR 内コントローラー） ​

  • A ボタン
    • マイクのオン／オフ切り替え
    • オンの状態で話しかけると、音声が AI に送信されます。
  • B ボタン
    • 5 回連続押下：デバッグボタン（Setting / SessionReset / SceneReset など）を 表示
    • 表示中に 1 回押下：デバッグボタンを 非表示
  • スティック（押し込み）
    • 手元 UI の表示／非表示の切り替え
    • 必要に応じてメニューや情報パネルを表示・格納できます。

開発雑メモ

Author: 村井 | Source: 村井\uPano×MetaQuest3でパノラマビューアプリデモ開発\v1 9 2c4aba435ee780af8c03c3e522cb4bbc.md