こんにちはAI Shiftの友松です。3月13日(月)から3月17日(金)に沖縄コンベンションセンターで言語処理学会年次大会が行われ、AI Shiftから7件(うち、東京都立大学 小町研究室との共同研究1件)の発表を行います。
本記事では各発表の概要と議論したいポイントについて取り上げたいと思います。
1. AI Shiftおよび共同研究先からの発表一覧
| 3月14日(火) 11:30-13:00 | Q2-8 | 日本語T5を用いたEntity辞書のメンション候補自動獲得手法の提案と評価 | 上田直生也, 岡照晃 (都立大), 杉山雅和, 邊土名朝飛 (AI Shift), 小町守 (都立大) | |
| 3月15日(水) 14:20-15:50 | Q8-5 | 意味的類似度計算システムによるチャットボットFAQシステムの性能向上 | 栗原健太郎 (早大/AI Shift), 二宮大空, 友松祐太 (AI Shift) | |
| 3月15日(水) 14:20-15:50 | Q8-7 | 頑健なFAQ検索に向けたPrompt-Tuningを用いた関連知識の生成 | 二宮大空, 邊土名朝飛, 友松祐太 (AI Shift) | |
| 3月15日(水) 17:30-19:00 | Q9-8 | 電話音声認識における特定の文脈へのドメイン適応のための合成音声によるデータ拡張 | 東佑樹, 友松祐太 (AI Shift) | |
| 3月15日(水) 17:30-19:00 | Q9-9 | Next Sentence Predictionに基づく文脈を考慮したASR N-bestのリランキング | 邊土名朝飛, 友松祐太 (AI Shift) | |
| 3月16日(木) 14:20-15:50 | Q12-5 | タスク指向対話における強化学習を用いた対話方策学習への敵対的学習の役割の解明 | 下山翔 (AI Shift/東北大), 森村哲郎, 阿部拳之 (サイバーエージェント) | |
| 3月16日(木) 14:20-15:50 | Q12-6 | タスク指向対話システムの方策学習へのDecision Transformerの適用 | 戸田隆道 (AI Shift), 森村哲郎, 阿部拳之 (サイバーエージェント) |
2. 各発表の概要と議論したいポイント
2.1 日本語T5を用いたEntity辞書のメンション候補自動獲得手法の提案と評価
概要
タスク指向型の音声対話システムにおけるEntity Linkingは、Entity辞書を知識ベースとして用います。Entity辞書はユーザの発話パターンに対応するために、表記揺れや通称，略称などメンション候補登録が必要ですが、構築にコストがかかる問題があります。この取り組みでは、日本語T5を用いたメンション候補生成モデルを用いて、辞書のメンション候補を自動登録しました。メンション候補を自動獲得した辞書を用いると、人手によるメンション候補を登録した辞書と同等の性能を得られるとわかりました。
議論したいポイント
- 音声認識誤りに対する音韻的類似度を考慮したNERおよびEntityLinkingについて
- 音声認識結果に効果的な,固有名詞の言い換え表現の獲得方法について
- 音声入力とテキスト入力での傾向の違いに対する,Webで収集したデータで学習したLLMの活用方法について
2.2 意味的類似度計算システムによるチャットボットFAQシステムの性能向上
概要
AI Shiftで構築を検討中のDense RetrieverベースのチャットボットFAQシステムの学習に、チャットボット事業で収集している文ペアを用いている。しかし、正例文ペアの中に関連度が低い事例が含まれている上、収集しているデータの規模は人手フィルタリングを実施するには大きい。本研究で、意味的類似度計算システムを用いた訓練データのフィルタリング手法を提案する。実験により、提案手法によるFAQシステムの精度向上と、STSデータセットを用いた意味的類似度計算システム構築の妥当性を示した。
議論したいポイント
- サービスなどで収集しているデータの品質について
- 低品質な学習データなどのフィルタリングの事例についてざっくばらんにお話をしたいです。
- あるいは、低品質データがそもそも収集されない枠組みなどを作る工夫があればご教授願いたいです。
- 文の類似度の獲得方法について
- 本研究では、JSTSによる文類似度の獲得をおこなっていますが、文ベクトルを獲得してcos類似度をとるなどの方法もあります。文の類似度を獲得したいケースにおける対応についてぜひお伺いしたいです。
2.3 頑健なFAQ検索に向けたPrompt-Tuningを用いた関連知識の生成
概要
チャットボットが提供する機能の一つに，よくある質問集（FAQ）を用いてユーザの質問に回答するFAQ検索がある．FAQ検索では与えられる質問が不明瞭なことが多く，検索精度の低下の要因となり得る．そこで，Prompt-tuningを行った言語生成モデルを用いて質問の明確化を行い，FAQ検索に活用する手法を提案する．チャットボット事業で収集したデータを用いた実験では3ドメインにおいて提案手法の有効性を検証する．
議論したいポイント
- Prompt-tuningによって学習させた言語モデルはどのようなタスクに対して有効なのか
- FAQ検索では不明瞭な質問が与えられることが老いが，どのようなアプローチで質問の意図を汲み取るのが良いか
- どのような検索モデルであれば高精度かつリアルタイム処理に耐えうるか
2.4 電話音声認識における特定の文脈へのドメイン適応のための合成音声によるデータ拡張
概要
タスク指向型の音声対話システムでは予約受付や本人確認等のタスクにおいて，予めパターンの決まっている発話内容を認識する場面がしばしば存在する．本研究では，電話音声認識のタスクにおいて，音声合成により生成した音声を用いて転移学習を行い，特定パターンの認識性能の向上を試みる．提案手法では認識したい発話群の読みを正規表現により生成し，それぞれの読みに対応する音声を合成し，転移学習用のデータとする．汎用的な音声認識モデルとの認識性能の比較実験をおこない，提案手法の有効性を検証する．
議論したいポイント
- 音声対話システムの一機能としての音声認識はどれくらいの精度が最低限求められるのか
- 音声認識における言語モデルの効果的な活用方法について
- 意図理解のための音声認識部の効果的な評価手法について
2.5 Next Sentence Predictionに基づく文脈を考慮したASR N-bestのリランキング
概要
本研究では，ユーザ発話のASR出力のN-best候補と直前のシステム発話のペアをBERTに入力し，Next Sentence Predictionのアプローチでリランキングすることで，ASRシステムの音声認識誤りを低減させることを試みる． また，リランキング性能の向上を目的として，質問応答データセットを用いてBERTのfine-tuningを行う． 実験では，音声認識誤りを付与したデータセットを作成し，リランキング手法適用前後の音声認識誤り率を測ることで有効性を示す．
議論したいポイント
- Rerankingモデルのfine-tuning方法について
- 音声認識と後処理（リランキング，誤り訂正など）の役割分担について
- 低レイテンシかつ高性能な音声認識を実現するためには，どのように処理を分割すればいいのか
- たとえば，domain-specificな固有表現の認識は音声認識モデル側で担保すべきか？それとも誤り訂正等の後処理で担保すべきか？
2.6 タスク指向対話における強化学習を用いた対話方策学習への敵対的学習の役割の解明
概要
強化学習を用いた対話方策の学習において,報酬関数の設計は重要である.効果的な報酬関数の人手による設計が困難であるため,データから報酬関数を推定する手法の1つとして敵対的逆強化学習が注目されている.この方法により推定された報酬関数を用いて学習された対話方策は良好な性能を示すことが報告されている.この理由を明らかにするため,本研究では,既存手法の1つであるGDPLに対する分析を行う.報酬関数の目的関数に対する考察および実験から,敵対的学習はループ対話の発生を抑制する効果を持つことを示す.
議論したいポイント
- 実験設定について（他の比較手法，他のuser simulator，他のデータセットで評価してみると面白そうなもの）
- 敵対的学習の解析に関して，ループ対話抑制以外にもありそうな他の役割について
- ※対話方策の研究に関してはまだまだ素人ですので，色々な内容について議論させていただけたらと考えております
2.7 タスク指向対話システムの方策学習へのDecision Transformerの適用
概要
パイプライン型のタスク指向対話システムにおいて, 行動決定を行う Policy モジュールは設計にコストがかかる. シミュレーターを用いてオンライン強化学習で方策を学習させる取り組みもあるが, 学習のためのシミュレーターの実装など多くの課題が残されている. 本研究では Policy モジュールの方策の学習にシミュレーターを必要としないオフライン強化学習の手法である Decision Transformer を適用し, MultiWOZ 2.1で評価を行う.
議論したいポイント
- Policyモジュールの評価指標について
- 現実世界におけるユーザーシミュレーターとの対話の適切さについて
- （タスク指向対話のプロダクトを開発している方）Policyモジュールをどのように設計しているかについて
- Policyモジュールに限らず、タスク指向対話の各モジュールの他ドメインへの転移について
3. おわりに
AI Shift以外にもCyberAgentグループから6件発表があったり、スポンサーブースも出させていただいているため、そちらの発表もぜひお越しください。
当日皆様と活発な議論ができることを楽しみにしております。
