FastRTCを使って爆速でVoicebotを構築する

pip install fastrtc

import base64
import asyncio
import numpy as np
import openai
from fastrtc import (
    AdditionalOutputs,
    AsyncStreamHandler,
    Stream,
    get_twilio_turn_credentials,
    wait_for_item,
)
from gradio.utils import get_space
from openai.types.beta.realtime import ResponseAudioTranscriptDoneEvent, ResponseOutputItemDoneEvent


SAMPLE_RATE = 24000
SYS_PROMPT = """あなたは、レストラン「AI-SHIFT」の予約受付担当です。
以下の制約条件と入力文、会話履歴を考慮して、お客様からの予約の問い合わせに対応してください。
発話は短く簡潔に、ヒアリングは一項目ずつ行い、一度に複数の質問をしないでください。

# 制約条件
* レストラン名: AI-SHIFT
* 営業時間:
  * 平日: 11:00-22:00
  * 土日祝: 10:00-23:00
  * 定休日: 年末年始
* 予約可能な人数: 1名様から4名様まで
* お客様の名前、予約日時、人数、その他要望をお伺いします。
* お客様が予約を完了するまで、会話を続けてください。
* 会話終了後、予約内容を復唱して確認して下さい。
"""

class OpenAIHandler(AsyncStreamHandler):
    def __init__(
        self,
    ) -> None:
        super().__init__(
            expected_layout="mono",
            output_sample_rate=SAMPLE_RATE,
            output_frame_size=480,
            input_sample_rate=SAMPLE_RATE,
        )
        self.connection = None
        self.output_queue = asyncio.Queue()
        self.function_call = False

    def copy(self):
        return OpenAIHandler()

    async def start_up(
        self,
    ):
        self.client = openai.AsyncOpenAI()
        async with self.client.beta.realtime.connect(
            model="gpt-4o-mini-realtime-preview-2024-12-17"
        ) as conn:
            await conn.session.update(
                session={
                    "turn_detection": {"type": "server_vad"},
                    "instructions": SYS_PROMPT,
                }
            )
            self.connection = conn
            async for event in self.connection:
                if event.type == "response.audio_transcript.done":
                    print(event)
                    await self.output_queue.put(AdditionalOutputs(event))

                if event.type == "response.audio.delta":
                    await self.output_queue.put(
                        ( 
                           self.output_sample_rate,
                            np.frombuffer(
                                base64.b64decode(event.delta), dtype=np.int16
                            ).reshape(1, -1),
                        ),
                    )

    async def receive(self, frame: tuple[int, np.ndarray]) -> None:
        if not self.connection:
            return
        _, array = frame
        array = array.squeeze()
        audio_message = base64.b64encode(array.tobytes()).decode("utf-8")
        await self.connection.input_audio_buffer.append(audio=audio_message)

    async def emit(self) -> tuple[int, np.ndarray] | AdditionalOutputs | None:
        return await wait_for_item(self.output_queue)

    async def shutdown(self) -> None:
        if self.connection:
            await self.connection.close()
            self.connection = None

stream = Stream(
    OpenAIHandler(),
    mode="send-receive",
    modality="audio",
    concurrency_limit=1,  # 同時接続数
    time_limit=90,  # 1回の通話の制限時間
)

stream.fastphone()

stream.ui.launch()

from fastapi import FastAPI
from fastapi.responses import HTMLResponse, StreamingResponse

app = FastAPI()
stream.mount(app)

# sample streaming endpoint
@app.get("/outputs")
def _(webrtc_id: str):
    async def output_stream():
        async for output in stream.output_stream(webrtc_id):
            chatbot = output.args[0]
            yield f"event: output\ndata: {json.dumps(chatbot[-1])}\n\n"

    return StreamingResponse(output_stream(), media_type="text/event-stream")