Appearance
memo
RealtimeからResponsesAPIへ回帰（プロンプトが効きにくく意味不明な誘導や会話が成立しないことが多発）
上記に伴ってTTS機能も再実装（にじボイスがサ終したため安定した他サービス検討）
Info収集後にコントローラーに表示されるUIに気が付かないようなので振動で注目を引く
操作方法がわかりにくいため録画した映像をUIに差し込むなど説明を丁寧に
研修の進め方や会話でどのように情報を伝えるのかなどわかりやすく説明や誘導を行う必要がある
マイク常時開放は意図しないAIへのリクエストを送るため発話時にマイクをオンにして話しかける仕様に変更する
https://realtime-cloudrun-bridge-867568173731.asia-northeast1.run.app/config.html
フィードバック
- [x] ステータスUIを他UIより優先して表示
- [ ] レイが消える問題どうにかしたい
- [x] トークログの文章の開始行改善
- [x] フィードバックをプロンプトに入れ込んで反省用AIにする
システムプロンプトで評価内容を受け取った時にどのようにその内容を回答に反映するかをWeb管理する
1/14
- チュートリアルTTSキャッシュ認識甘くて同じプロンプトなのに再生成される場合がある（これのせいで案内音声の不安定性）
- 棚の中を確認するも情報不足
- 新聞の日付がAIに未入力（最終活動日がわからない）
- 後ろに移動できることを認識しない場合がある
- シナリオに整合性のない画像について質問してしまう場合にるつぼにはまる
- 血糖値の具体的な数値の入力がない
- 評価後に技術的な質問に対応したい
- 最初にVR内を探索せず会話からのみ情報を収集してしまい移動を行わない場合がある
- 掌の冷汗を確認できない
- 専門用語にAIが対応できていない（呼びかけで開眼？冷汗？仰臥位？）
- インスリン注射の痕跡確認できない
- 手元のUIあまり使われていない（気づかれていない？）ので完全リモコン方式にしてしまうのありかも
- 最初に周囲の安全か確認など行うのでそれに対応する回答を入力しておく
- タイムアウト音でかい
- 部屋の臭気情報ない
- 左右の上肢でドロッピングテスト？
- 謎に血糖値を42と回答したことがあったがプロンプトに追加してはいない
- 字幕つけていいのでは？
- 情報収集するまえにAIに口頭で既往歴など聞いて完結してしまうケースがある
- 手を下に置きすぎてトラッキングが乱れることが多々あった
先生方からのFB
前回よりやりとりの違和感が少なかった
専門用語や聞き方によって反応がいまいちだった
AIへの聞き方の説明を加えてあげたりするとスムーズに導入できる
今回は三年生なので自主的に行動できていた
AIの評価と教員の評価に大差はあまりない
みんな楽しんでくれていた
自分の立場をはっきりと認識できていなかったので救急隊員としてを強調する
口頭説明なく完全なる自主学習ができるようにしておきたい
聞き方によって回答の差がある
体を動かすより臨床推論を鍛えたい意図のシミュレーション
↑科目として国家試験の問題を解く力（状況や数値や病歴から適切な対処を選択するような問題）
これを体験者に認識させるとよいかも
国家試験対策に近い印象
アンケート
実技前はポジティブな意見が多い
実施後自信なくした方がいる様子
もう一回やりたいという意見が多数でていたらしい
触診したいらしい
判断力（傷病者の死に対するのこり時間を判断して適切な処置を行うので、その患者の緊急度の判断）
ほうしゃせんや看護シミュレーションでもやってみる
一旦救急は区切り
放射の場合AIアシスタント２体ロール分けて入れる可能性
Author: 村井 | Source:
村井\uPano×MetaQuest3でパノラマビューアプリデモ開発\V2 0\memo 2dfaba435ee780338b3fd726e6e4ea60.md