Appearance
V2.0
Panorama Viewer Demo V2.0 リリースノート（社内共有版）
V2.0の要点
音声対話システムを Realtime API → Responses API に刷新し、録音制御・処理パイプライン・設定管理・評価/行動記録まで含めた音声対話基盤をアップデートしました。
そのほか、研修向けの タイマー機能、チュートリアル動画、ハプティクス、UI/チュートリアル安定化などを追加しています。
1. まず最初に読む：今回の変更の全体像
✅ 何が変わった？
- 音声対話の中心が Realtime API → Responses API に移行（最重要）
- 研修時間を評価に反映するための 10分タイマー（カウントダウン＋カウントアップ） を追加
- チュートリアルを動画付きにして 学習コストを下げた
- 情報収集時に 振動（ハプティクス） を追加
- 「回答生成中」表示などの UI改善
- チュートリアル系の仕様整理・バグ対応で 安定性向上
2. 主要変更（重要度順）
⭐ 2-1. ResponsesAPI システムの導入（最重要）
概要
OpenAI Responses APIを使用した新しい音声対話システムを導入しました。これにより、より柔軟で高品質な音声対話が可能になりました。
ユーザー体験としてのポイント
- マイクオン/オフで録音を制御
- マイクオン時、音声案内を 自動中断（被り防止）
- シーン移動を 監視して対話コンテキストを安定化
- サーバー設定を読み込むことで、運用中に 調整しやすい
処理フロー（全体像）
SST（音声認識） → Chat（会話） → TTS（音声合成）
技術的な変更
- Realtime API から Responses API への移行により、より柔軟な会話制御が可能になりました
- 評価システムと行動記録システムもResponsesAPIに対応しました
2-2. カウントダウンタイマー機能の追加（研修評価連携）
概要
研修時間を計測し、採点に反映するためのタイマー機能を追加しました。
できること
- 10分カウントダウン
- 10分経過時に アラーム音
- 10分以降は カウントアップ表示
- StartupTtsPlayerの音声再生終了/中断時に 自動開始
- FBボタンで停止
- 計測した時間を 採点システムに反映
使用方法
- タイマーは 研修シーン開始時に自動開始
- タイマーは採点結果に反映され、時間管理の評価に使用されます
2-3. チュートリアルビデオ機能の追加（理解を早くする）
概要
チュートリアル用のビデオガイドを追加し、操作方法をより分かりやすくしました。
追加されたビデオ
- DirectionArrow（方向矢印）の操作方法
- InfoManager（情報管理）の操作方法
- TalkLog（会話ログ）の操作方法
- タッチ操作の基本
効果
- 操作方法を 視覚的に理解しやすく なりました
- チュートリアルの進行が スムーズ になりました
2-4. ハプティクス（振動）機能の追加（成功体験の強化）
概要
情報収集時にコントローラーが振動する機能を追加しました。
効果
- 情報収集の成功を 直感的にフィードバック
- より 没入感のある体験 を提供
2-5. UI改善（状態が分かる）
主な改善点
- リクエスト送信からTTSまでの間に 「回答生成中」表示 を追加
- デバッグボタンの表示方法を変更
- Bボタン5回連続押下で表示/非表示
効果
- ユーザーが現在の状態を 把握しやすく なりました
2-6. チュートリアルシステムの改善（安定化）
主な変更
- ResponsesAPIへの移行
- 音声案内のキャッシュ確認仕様変更
- 音声案内が更新していないときに再生成される問題の対応
効果
- より 安定したチュートリアル体験 を提供
- 音声案内の更新が 適切に反映 されるようになりました
3. 設定管理サーバー（V2.0からの運用ポイント）
V2.0では、ブラウザからアプリの各種設定を管理できる 設定管理サーバー が利用可能です。
3-1. アクセス方法
以下のURLをブラウザで開いてください：
https://realtime-cloudrun-bridge-867568173731.asia-northeast1.run.app/config.html
3-2. できること（ざっくり）
設定管理ページでは、以下の 5つのタブ から各種設定を管理できます。
- アプリ設定
- システムプロンプト
- シーンプロンプト
- チュートリアル
- 評価基準
3-3. 各タブの役割と設定内容
① アプリ設定タブ（動作全般の設定）
アプリの基本設定を管理します。
主な設定項目
Realtime設定
- サーバーベースURL
- モデル選択（gpt-realtime-mini、gpt-realtime）
- 音声選択（alloy、ash、ballad、coral、echo、sage、shimmer、verse）
- 自動接続設定
Responses設定
- サーバーベースURL
- SST（音声認識）モデル選択
- Chat（会話）モデル選択（通常モデル・推論モデル）
- TTS（音声合成）モデル・音声選択
- 温度設定（通常モデル用）
- 推論努力設定（推論モデル用）
マイク設定
- 優先デバイス
- サンプルレート
- クリップ長
RAG設定
- RAG機能の有効/無効
- サーバーベースURL
- タイムアウト設定
スタートアッププロンプト
- 研修シーン開始時に再生される案内音声の内容
② システムプロンプトタブ（AIのベース人格・方針）
研修シーンでアシスタントとして動作するAIのベースプロンプトを設定します。
設定内容
- AIの性格・口調・回答方針を指定
- 難易度別のプロンプト設定が可能
- 英語対応のプロンプト形式に対応
履歴機能
- 過去の設定を履歴として保存（最新10件まで）
- 過去の設定を確認・復元可能
③ シーンプロンプトタブ（パノラマ情報・Hotspot情報）
パノラマ画像に関する情報を管理します。
設定内容
- 各パノラマシーンの説明
- Hotspotに紐づく「アイテム名」と「その説明・情報」
- Hotspotクリック時に表示される情報やAIの説明内容を制御
履歴機能
- 過去の設定を履歴として保存（最新10件まで）
- 過去の設定を確認・復元可能
④ チュートリアルタブ（チュートリアルシーン用の会話・案内）
チュートリアルシーン用の設定を管理します。
設定項目
ウェルカムメッセージ
- チュートリアルシーン開始時に再生される音声案内の内容
- チュートリアルの目的や基本操作のガイドを記述
システムプロンプト（チュートリアル）
- チュートリアルシーンでアシスタントとなるAIのプロンプト
- 操作説明や会話練習に適したキャラクター設定や話しかけ方のルールを記述
会話終了文言
- チュートリアル終了判定のトリガーワード
- AIがこのフレーズを発言するとチュートリアル終了と判定されます
履歴機能
- 過去の設定を履歴として保存（最新10件まで）
- 過去の設定を確認・復元可能
⑤ 評価基準タブ（自動採点の基準）
研修シーンでの行動記録から自動採点を行うための基準を定義します。
設定項目
評価基準
- 必須の観察ポイントをチェックしたか
- 適切なタイミングでAIに質問したか
- 最終回答の正確さ
- 時間管理（タイマー機能との連携）
採点項目
- 効率性基準
- 移動基準
- 観察基準
- 推論基準
- グレード閾値
履歴機能
- 過去の設定を履歴として保存（最新10件まで）
- 過去の設定を確認・復元可能
4. 設定管理サーバー：基本操作
4-1. 設定の読み込み（リロード）
- 設定管理ページを開く
- 該当するタブを選択
- 「リロード」ボタンをクリック
- サーバーに保存されている現在の設定がフォームに反映されます
4-2. 設定の保存
- 各タブのフォームに設定内容を入力・編集
- 「保存」ボタンをクリック
- 設定がサーバーに保存されます
- 保存成功のメッセージが表示されます
注意事項
- 保存ボタンをクリックすると、既存の設定が 上書き されます
- 以下は自動的に履歴が保存されます（最新10件まで）
- システムプロンプト
- シーンプロンプト
- チュートリアルプロンプト
- 評価基準
4-3. 履歴の確認と復元
履歴機能が利用可能な設定
- システムプロンプト
- シーンプロンプト
- チュートリアルプロンプト
- 評価基準
履歴の確認方法
- 該当するタブを選択
- 「履歴」ボタンをクリック
- 過去の設定一覧が表示されます（日時付き）
- 確認したい履歴を選択して内容を確認
履歴からの復元方法
- 履歴一覧から復元したい設定を選択
- 「復元」ボタンをクリック
- 選択した履歴の内容が現在の設定として復元されます
- 復元前に現在の設定が自動的に履歴として保存されます
5. アプリ側での設定読み込み（いつ反映される？）
アプリは起動時やシーン遷移時に、サーバーに保存された設定ファイルを自動的に読み込み、動作に反映します。
読み込みタイミング
- アプリ起動時
- チュートリアルシーン開始時
- 研修シーン開始時
設定の反映先
- アプリ設定：アプリの動作全般に反映
- システムプロンプト：AIの応答に反映
- シーンプロンプト：各シーンの情報表示に反映
- チュートリアルプロンプト：チュートリアル中のAI応答に反映
- 評価基準：採点システムに反映
6. 設定ファイルの保存形式
設定ファイルは以下の形式で保存されます。
- 保存形式： YAML形式
- 保存先： Google Cloud Storage（設定されている場合）またはローカルファイルシステム
- ファイル名：
app_config.json（YAML形式で保存）systemprompt.json（YAML形式で保存）sceneprompt.json（YAML形式で保存）tutorialprompt.json（YAML形式で保存）evaluationcriteria.json（YAML形式で保存）
7. 注意事項（運用で詰まりやすいポイント）
- 設定の反映タイミング
- 設定を保存した後、アプリを再起動するか、シーンを再読み込みすると設定が反映されます
- 履歴の保持期間
- 履歴は最新10件まで保持されます
- 10件を超える古い履歴は自動的に削除されます
- 設定のバックアップ
- 重要な設定は定期的にバックアップを取ることを推奨します
- 履歴機能を活用して、過去の設定を確認・復元できます
- エラー時の対処
- 設定の保存や読み込みでエラーが発生した場合、ブラウザのコンソールを確認してください
- サーバーへの接続が確立されているか確認してください
Author: 村井 | Source:
村井\uPano×MetaQuest3でパノラマビューアプリデモ開発\V2 0 2d4aba435ee7805190b6de3e4662a6bc.md