TypeScript版DSPy、axを試してみた

npm install @ax-llm/ax
# または
yarn add @ax-llm/ax
# または
pnpm add @ax-llm/ax

OPENAI_API_KEY=your_api_key_here
# または他のプロバイダーのAPIキー

// 従来の方法
const prompt = `
あなたは感情分析の専門家です。
以下のテキストの感情を分析してください。

テキスト: ${text}

以下の形式で回答してください:
- 感情: positive, negative, neutralのいずれか
- 理由: 判断の理由を簡潔に
`;

// axの場合
const classifier = ax(
  'review:string -> sentiment:class "positive, negative, neutral", reason:string',
);

import { ai, ax } from "@ax-llm/ax";
import dotenv from "dotenv";

dotenv.config();

const llm = ai({ name: "openai", apiKey: process.env.OPENAI_API_KEY! });

const classifier = ax(
  'review:string -> sentiment:class "positive, negative, neutral", reason:string',
);

async function main() {
  const reviews = [
    "このプロダクトは素晴らしい!",
    "最悪の買い物でした。二度と購入しません。",
    "普通です。特に良くも悪くもない。",
    "サポートが親切で大変満足しています！",
    "値段の割に品質が悪すぎる。がっかりです。",
    "まあまあですね。可もなく不可もなく。",
    "期待以上の出来栄え！友人にもおすすめしたいです。",
    "配送が遅れて困りました。商品自体は普通です。",
    "コスパ最高！買ってよかった！",
    "不良品が届きました。返品します。"
  ];

  for (const review of reviews) {
    const result = await classifier.forward(llm, { review });
    console.log(`レビュー: ${review}`);
    console.log(`極性: ${result.sentiment}`);
    console.log(`理由: ${result.reason}`);
    console.log("---\n");
  }
}

main();

git clone https://github.com/ax-llm/ax/tree/main
cd ax/src/optimizer  
uv sync  
uv run ax-optimizer server start --debug

import { ai, ax, MiPRO } from "@ax-llm/ax"; // AxGEPAをimport しておく

...

// 訓練データ
const examples = [
    { "review": "このプロダクトは素晴らしい!", "sentiment": "positive" },
    { "review": "最悪の買い物でした。二度と購入しません。", "sentiment": "negative" },
    { "review": "普通です。特に良くも悪くもない。", "sentiment": "neutral" },
    { "review": "サポートが親切で大変満足しています！", "sentiment": "positive" },
    { "review": "値段の割に品質が悪すぎる。がっかりです。", "sentiment": "negative" },
    { "review": "まあまあですね。可もなく不可もなく。", "sentiment": "neutral" },
    { "review": "期待以上の出来栄え！友人にもおすすめしたいです。", "sentiment": "positive" },
    { "review": "配送が遅れて困りました。商品自体は普通です。", "sentiment": "negative" },
    { "review": "コスパ最高！買ってよかった！", "sentiment": "positive" },
    { "review": "不良品が届きました。返品します。", "sentiment": "negative" }
];

// 評価関数
const metric = ({ prediction, example }) => {
    return prediction.sentiment === example.sentiment ? 1 : 0;
};

const optimizer = new MiPRO({
    studentAI: llm,
    examples,
    optimizerEndpoint: "http://localhost:8000", 
    optimizerTimeout: 60000,  // optimizerEndpointのタイムアウト(ms)
    optimizerRetries: 3,   // optimizerEndpointに接続できなかった時のリトライ回数
    numTrials: 1,  // 試行回数
    verbose: true,
  });

const result = await optimizer.compile(
    classifier,
    examples,
    metric
);

// ベストスコアを表示
console.log('Optimized score:', result.bestScore);  // 1.0