ChatdollKit サンプル動作確認

・you speak in japanese ・you are my friend.and we are very close but you speak to me with honoric language. ・you are a kind girl. ・you have five expressions 'embarrassed', 'Joy', 'Angry','Sorrow','Fun' and 'Surprise'.

↓これにお金がかかるみたいです。

↑会社のものを貸与してもらい解決。

エラーが出ました。

languageの設定が間違ってたみたいです。”ja”が正しい表記らしいです。

VOICEVOXを搭載してみる。

開発者の記事にてVOICEVOXを搭載できる旨を発見。

今の声のままだと気持ち悪いなと思っていたので実装してみることにしました。

ChatGPT＋3Dモデルの音声対話エージェントを15分で開発する方法⚡️ - Qiita

まずVOICEVOXのサーバーを立てないといけないらしい。

【超簡単】自分専用のVOICEVOXサーバーを立てる - Qiita

↑これを参考に建てる、

ここで手詰まり。

サーバー関係はほぼ触ったことがないので本当に困った。

%を入力してって書いてあるのに％を入れるなと言われても本当に困る。

％消したらいけました。

↓インスペクタの設定はこんな感じです。

print supported speakersにチェック入れとくと

こんな感じでスピーカーの番号が出てくるので、これを参考に使いたいモデルがあればspeakerに入れてあげるといいと思います。

かわいい声にできました！(ノイズがひどかったので自分の声は入れてませんが音声で入力してます。)

https://youtu.be/pt9zthik-kQ

webGLでビルドしようとしてビルドセッティングをWebGLに切り替えたらものすごい量のエラーをはかれた（コードの中で使われている変数が定義されていない変数だよという旨）ので、いろいろと調べたら

らしいです。

さらにこう

らしいです。

私のための助け船のようなサイトに出会えたのでこれを読みます。

ChatdollKitで作った対話アバターをwebブラウザ上で動作させる方法 - Qiita

私のプロジェクトに出てるエラーと違いました。

私のはこれ。

このllmToolsっていうのがないらしいです。

一度ビルド設定を戻してよく読むと上のほうに#if UNITY_WEBGL　と分岐されていました。

11/21

ローカルでビルドして動くこと確認できました。

画面下部の緑のインジケータがてんめつしている時が私がしゃべっているときです。

https://youtu.be/k6gVTNbhfRY

せっかくビルドしたのでVoiceVoxのurl入力画面を作ってビルドした先で（サーバー関連以外は）単体で動くようにしてみたくなったのでやってみます。

作業記録にかける状態まで進むのに時間がかかりそうなので一応大まかな設計だけ書いときます

実装したい機能

●今実行してるメインシーンのほかに一つPreSceneを作ってそこにtextinputとsubmitbuttonを設置

●textinputにurlを入力してsubmitボタンを押すとシーン遷移して入力したurlにつながってくれる。

●余力があればエラーハンドリングもしておきたいけどほかに優先すべきお仕事ができたらそっちやります。

軽いスクリプトの設計

●VoicevoxSpeechSynthesizer（もとからあるコード）

こいつがVoiceVoxにつなげるためのEndPointUrlをpublic string EndPointUrlで持っているのでこいつに渡して設定してあげるのがおそらくゴール。

●UrlHolder（追加するコード）

DontDestroyOnLoadにするか、ベースシーンに置くかしておく。textinputに入れた値を保存しておくだけ。

●UrlInput（追加するコード）

PreSceneに置いとく。textFieldに入力した値を、Submitbuttonが押されたらUrlHolderに送る。

●URLRegister（追加するコード）

UrlHolderが持ってるurlを読みとって、VoicevoxSpeechSynthesizerに送る。

csharp

public void Configure(string endpointUrl, bool overwrite = false)
{
    EndpointUrl = string.IsNullOrEmpty(EndpointUrl) || overwrite ? endpointUrl : EndpointUrl;
}

↑このメソッドをVoicevoxSpeechSynthesizerが持っているのでもしかしたらこいつを呼び出してurlを渡すだけで実装できるかも。

追記：シーン遷移について今回は２シーンしかないのでベースシーンとか置かずにそのまま遷移させます。

とりあえずできたもの。

URLHolder

csharp

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class URLHolder : MonoBehaviour
{
    public static URLHolder Instance{ get; private set; }
    public string EndPointUrl;

    private void Awake()
    {
        if (Instance == null)
        { 
            Instance = this;
            DontDestroyOnLoad(gameObject);
        }
        else
        {
            Destroy(gameObject);
        }
    }
}

URLInput

csharp

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.SceneManagement;
using UnityEngine.UI;

public class URLInput : MonoBehaviour
{
    [Header("inputFieldがアタッチされているオブジェクト")]
    [SerializeField] GameObject urlInputObj;
    private InputField urlInputFld;

    void Start()
    {
        //inputfieldをインスペクタから入れれなかったのでこの方式にしました。
        urlInputFld = urlInputObj.GetComponent<InputField>();
    }

    //submitボタンが押された時の処理。
    public void OnSubmit()
    {
        string url = urlInputFld.text;
        if (!string.IsNullOrEmpty(url))
        {
            if (URLHolder.Instance == null)
            {
                var holderObj = new GameObject("UrlHolder");
                holderObj.AddComponent<URLHolder>();
            }

            URLHolder.Instance.EndPointUrl = url;

            SceneManager.LoadScene("MainScene");
        }
        else
        {
            Debug.LogError("urlがエラーです。");
        }
        
    }
}

URLRegister

csharp

using ChatdollKit.SpeechSynthesizer;
using Cysharp.Threading.Tasks;
using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class URLRegister : MonoBehaviour
{
    public VoicevoxSpeechSynthesizer synthesizer;

    private async void Start()
    {
        //urlholderが利用できるようになるまで待つ。
        while (URLHolder.Instance == null)
        {
            await UniTask.DelayFrame(1);
        }

        string url = URLHolder.Instance.EndPointUrl;

        if (!string.IsNullOrEmpty(url))
        {
            //urlの登録
            synthesizer.Configure(url);
        }
        else 
        {
            Debug.LogError("Error_UrlNotFound");
        }

    }
}

遷移したけどurlが設定できてない、多分普通にテキストをとるタイミングがおかしい。

初期化時点でとってることになってる気がする。

変更

URLInput

csharp

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.SceneManagement;
using UnityEngine.UI;

public class URLInput : MonoBehaviour
{
    [Header("inputFieldがアタッチされているオブジェクト")]
    [SerializeField] GameObject urlInputObj;
    private InputField urlInputFld;

    //submitボタンが押された時の処理。
    public void OnSubmit()
    {
        string url = "null";
        try 
        {
            url = urlInputObj.GetComponent<Text>().text;
        }
        catch 
        {
            if (urlInputFld == null)
            {
                Debug.Log("urlInputField is null");
            }
            else if (urlInputFld.text == null)
            {
                Debug.Log("urlInputField.text is null");
            }
        }
        
        if (!string.IsNullOrEmpty(url))
        {
            if (URLHolder.Instance == null)
            {
                var holderObj = new GameObject("UrlHolder");
                holderObj.AddComponent<URLHolder>();
            }

            URLHolder.Instance.EndPointUrl = url;

            SceneManager.LoadScene("MainScene");
        }
        else
        {
            Debug.LogError("urlがエラーです。");
        }
        
    }
}

↓nullが入っているのでスクリプト間の文字列の送信はできているということ。

やはりtextの取り方が違うのかも。

TMPを使っているのでそれ用の取り方をしないといけないみたいです。

inputFieldのTMP版をスクリプトで使う方法。 - Qiita

と思ったけどusing TMProが使えない。

いろいろ試したけど解決できなそうなのであきらめてLegacy使います。

送れているのにつなげてない。多分urlRegisterがConfigureを呼び出す前につなごうとしているんだと思う。

VoicevoxSpeechSynthesizerもちょっといじろうと思います。

startメソッドをasyncにして処理を追加しました。

csharp

private async void Start()
{
    client = new ChatdollHttp(Timeout);
		//ここから
    // EndpointUrlが設定されるまで待機
    while (string.IsNullOrEmpty(EndpointUrl))
    {
        await UniTask.DelayFrame(1);
    }

    if (printSupportedSpeakers)
    {
        _ = ListSpeakersAsync(CancellationToken.None);
    }
    //ここまで
}

https://youtu.be/R8JEbjVUB4Q

↑できました！

最終スクリプト（VoicevoxSpeechSynthesizer以外）

csharp

using ChatdollKit.SpeechSynthesizer;
using Cysharp.Threading.Tasks;
using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class URLRegister : MonoBehaviour
{
    public VoicevoxSpeechSynthesizer synthesizer;

    private async void Start()
    {
        //urlholderが利用できるようになるまで待つ。
        while (URLHolder.Instance == null)
        {
            await UniTask.DelayFrame(1);
        }

        string url = URLHolder.Instance.EndPointUrl;

        if (!string.IsNullOrEmpty(url))
        {
            //urlの登録
            synthesizer.Configure(url);
        }
        else 
        {
            Debug.LogError("Error_UrlNotFound");
        }

    }
}

csharp

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class URLHolder : MonoBehaviour
{
    public static URLHolder Instance{ get; private set; }
    public string EndPointUrl;

    private void Awake()
    {
        if (Instance == null)
        { 
            Instance = this;
            DontDestroyOnLoad(gameObject);
        }
        else
        {
            Destroy(gameObject);
        }
    }
}

csharp

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.SceneManagement;
using UnityEngine.UI;

public class URLInput : MonoBehaviour
{
    [Header("inputFieldがアタッチされているオブジェクト")]
    [SerializeField] GameObject urlInputObj;

    //submitボタンが押された時の処理。
    public void OnSubmit()
    {
        string url = "null";

        url = urlInputObj.GetComponent<InputField>().text;
        if (url == "null")
        {
            Debug.LogError("設定できてないよ");
        }

        else
        {
            Debug.Log($"send text {url}");
            if (!string.IsNullOrEmpty(url))
            {
                if (URLHolder.Instance == null)
                {
                    var holderObj = new GameObject("UrlHolder");
                    holderObj.AddComponent<URLHolder>();
                }

                URLHolder.Instance.EndPointUrl = url;

                SceneManager.LoadScene("MainScene");
            }
            else
            {
                Debug.LogError("urlがエラーです。");
            }
        }
    }
}

自分用再配置　VoiceVoxサーバの立て方

【超簡単】自分専用のVOICEVOXサーバーを立てる - Qiita

接続確認url

http://127.0.0.1:50021/docs

接続コマンド

bash

ngrok http 50021

Author: 松崎 | Source: 松崎\ChatdollKit サンプル動作確認 4db3c5e5cb6247b4a01be42650a2f073.md

ChatdollKit サンプル動作確認 ​

チャットGPTのAPIキーを取得する。 ​

VOICEVOXを搭載してみる。 ​

11/21 ​

実装したい機能 ​

軽いスクリプトの設計 ​

自分用再配置 VoiceVoxサーバの立て方 ​

ChatdollKit サンプル動作確認

チャットGPTのAPIキーを取得する。

VOICEVOXを搭載してみる。

11/21

実装したい機能

軽いスクリプトの設計

自分用再配置　VoiceVoxサーバの立て方