はじめに
こんにちは。AI チームの村田です。
2025年9月17日(水)〜2025年9月19日(金)に浜松アクトシティで行われた第20回言語処理若手シンポジウム (YANS2025) に AI チームから2名 (栗原, 村田) と弊社でインターンシップ中の朱が参加しました 。
うち村田と朱は発表ありでの参加で、栗原は運営として携わりました。
本記事では、村田の全体的な印象と聴講参加した我々3名が特に興味を魅かれた研究発表をピックアップする形で参加報告をさせていただきます。
YANS2025の印象
YANS2025は応用に近い研究が多い印象を受けました。「Agent」または「エージェント」がタイトルに入った発表は22件あり、YANS2023の2件や YANS2024の4件と比較してかなりの増加でした。
また、公式のトピック別索引 にて「評価指標・品質推定」に分類される発表も件数/割合ともに増加しています。個人としては、ビッグテックが強力なモデルを公開する中で評価への関心がより高まっており、それが反映された統計であると感じました。
| 年度 | エージェント | 評価指標・品質推定 | 発表件数 | ||
|---|---|---|---|---|---|
| 件数 | 割合 (%) | 件数 | 割合 (%) | ||
| 2023 | 2 | 1.4 | 10 | 7.1 | 140 |
| 2024 | 4 | 2.0 | 18 | 9.2 | 196 |
| 2025 | 22 | 8.6 | 38 | 14.8 | 257 |
研究発表の紹介
以降の内容に関しましては、全て著者の方々に掲載許諾を頂いた内容になります。
選んだ論文（村田）
[S3-P36] 日本語LLMの“知識の境界線”を暴く：知識のカットオフ日の推定法の提案
山下 果凜 (日本女子大), 伊東 和香 (日本女子大), 西潟 優羽 (日本女子大), 倉光 君郎 (日本女子大)
研究の概要
知識カットオフとは LLM が学習したデータセットがいつ時点までのものかを表します。この研究では公開されたモデルのカットオフを推定することを目指します。先行研究では「2023年の UEFA チャンピオンズリーグの優勝は Real Madrid である」のような事実に基づくベンチマークを構築することで推定していました。この研究では「2023年12月1日(金)」のような自動構築可能な文字列のパープレキシティを計算することによる推測を提案しています。
気になった理由
日本語の公開 LLM には知識カットオフが公表されていないものも多く、リリース日の情報から推測することしかできません。研究/応用の両面から知識カットオフは重要な情報であり、その推定は有用であると感じました。指示学習済みを含む複数の LLM でリリース日より過去の日付をカットオフ日として推定できており、提案手法の有効性を示唆するものでした。
AI Shift で AI エージェントのプロダクトを開発する中でも LLM が "自認" する日付については慎重に扱う必要があることを実感しており興味を惹かれました。
また、サイバーエージェントの公開したモデルである calm2-7b および calm2-7b-chat でのみカットオフの推定日がリリース日より後になっており、それも含めて今後の発展が気になる研究でした。
選んだ論文（栗原）
[S4-P22] 自発音声のモデルとしての音声言語モデル
神藤 駿介 (東大), 宮尾 祐介 (東大/NII LLMC)
研究の概要
従来の朗読音声によるモデル学習や、TTSによる音声合成の出力評価などの研究の枠組みがテキストベースで展開されているという前提の元での、自発音声のモデルとしての音声言語モデルの構築を提案している研究です。自発音声を用いることによって、より人間らしい音声モデリングを可能にするなどの可能性を提示しています。
気になった理由
人が通常喋る場合に、完全な文が思い浮かべられているかというとそうではないということを再認識させられる研究でした。特に考えがまとまっていないのに喋り出してしまう、あるいは喋りながら考えを整理するなどの振る舞いなどの人間っぽさを、従来のテキストベースの研究ではモデリングできていないのではという着眼点に非常に面白みを感じました。自発音声に固有で見られる人間っぽさを追求したその先に、どのような産業応用ができるのかなどを考える良いきっかけとなりました。
選んだ論文（朱）
[S4-P28] 大規模言語モデルが抱える信念は対話中で一貫しているか？
辻村 有輝 (産総研), 浅田 真生 (産総研), 江上 周作 (産総研), 石垣 達也 (産総研), 高村 大也 (産総研)
研究の概要
CoTやReasoningモデルによりLLMの推論技術の開発が活発化していることを背景に、推論に伴いコンテキストの長さが発展していく中で、LLMの出力はコンテキストの中で一貫した内容となっているかを調査した研究です。実験の結果、モデルのスケーリングに伴い一貫性は必ずしも向上するとは言えないことと、数学・コーティングコーパスで学習されたモデルは高い一貫性を示すことを提示しています。
気になった理由
Reasoningモデルがより一般的になっていき、同時にコンテキスト量が増大していく中、最終的な出力の精度のみならず推論過程の内容について着目することも、非常に重要だと改めて感じました。モデルのパラメータ数が大きくなることと高い一貫性は、必ずしも相関しないという結果に面白みを感じ、下流タスクのスコアと一貫性の間にある関係性がどうなのか気になりました。AI ShiftにおけるAIエージェントのプロダクトにおいても、エージェントの出力時におけるコンテキスト中での内容の一貫性は、考える余地のある領域だと感じました。
おわりに
今回の YANS への参加を通じて、AI エージェントおよび音声対話をプロダクトとして提供する我々の取り組みに関連する研究が増えていることを感じました。アカデミアの成果をプロダクトをより良くするために取り入れられるような姿勢は忘れずにいたいという気持ちになりました。
また、ナイトセッションなどの交流の場も公式から提供されており、最前線の研究者や企業のエンジニアとの交流はとてもよい刺激となりました。
最後にはなりますが、このような素晴らしい学会を運営いただいた委員の皆様、ありがとうございました！
