【AI Shift Advent Calendar 2023】GPT-4-turbo + 音声合成で快適なボイスボットを作る

pip install openai==1.1.1
pip install pygame==2.5.2

import openai
import io
import pygame
import re

# 環境変数からAPIキーを取得する
api_key = "{YOUR_OPENAI_API_KEY}"

# OpenAIクライアントの初期化
client = openai.OpenAI(api_key=api_key)

def tts(text):
    try:
        # pygameの初期化とミキサーの初期化
        pygame.init()
        pygame.mixer.init()
        clock = pygame.time.Clock()
        fps = 10  # フレームレート

        # OpenAIのTTSを使用して音声ファイルを生成
        response = client.audio.speech.create(
            model="tts-1",
            voice="alloy",
            input=text + "。",  # テキストの末尾に句点を追加
            speed=1.3
        )

        # レスポンスから音声データを取得してBytesIOオブジェクトに書き込む
        audio_data = io.BytesIO(response.content)

        # BytesIOオブジェクトから直接音声を再生する
        pygame.mixer.music.load(audio_data)
        pygame.mixer.music.play()

        # 再生が終了するのを待つ
        while pygame.mixer.music.get_busy():
            clock.tick(fps)

    finally:
        # pygameミキサーを停止
        pygame.mixer.quit()
        pygame.quit()

if __name__ == "__main__":
    # 初期のプロンプト
    messages = [
        {
            "role": "system",
            "content": """
            あなたはオペレータの振る舞いをするボットです。
            レストラン予約を完遂してください。
            エリア(渋谷、新宿、代々木)、料理(ラーメン、焼き肉、中華)、日付、時間を聞いて予約を確定してください。
            """
        },
        {
            "role": "user",
            "content": "こんにちは"
        },
    ]

    while True:
        # ボットの発話のstreamの結果を格納する変数
        bot_speech = ""
        i = 1
        
        # ボットの発話をテキストで生成する。
        # streamをTrueにすると、生成が完了するまでの途中経過を取得できる。
        for chunk in client.chat.completions.create(
                model="gpt-4-1106-preview",
                messages=messages,
                temperature=0,
                stream=True
        ):
            content = chunk.choices[0].delta.content
            if content is not None:
                bot_speech += content
                
            # ボットの発話を文単位で区切って、一文として完成したタイミングでTTSによって音声を再生する。
            sentences = re.split(r"[?？!！。]", bot_speech)
            if len(sentences) > i:
                sentence = sentences[i - 1]
                print(f"assistant: {sentence}")
                tts(sentence)
                i += 1
        
        # ボットの発話が終わったタイミングでユーザーの発話をテキストで受け付ける。
        user_speech = input()
        print(f"user: {user_speech}")
        
        # ユーザーの発話をmessagesに追加する。
        messages.extend([
            {"role": "assistant", "content": bot_speech},
            {"role": "user", "content": user_speech}
        ])
        
        # ユーザーの発話が「おしまい」だったらループから抜け、会話を終了する。
        if user_speech == 'おしまい':
            break