【AI Shift Advent Calendar 2023】2023年のTech Blog/対外発表の振り返り

サムネイル

DALLE-3で生成

1. はじめに

こんにちは、AI Shiftの友松です。 この記事はAI Shift Advent Calendar 2023の25日目、最終日の記事です。

AI ShiftのTechBlogは2019年の12月24日に開設し、そして、昨日12月24日をもちまして4周年を迎えました。毎年恒例となりました、1年のTech Blogと対外発表の振り返りについて書きたいと思います。

過去の振り返り記事はこちらをご参照ください

昨年11月にOpenAI社がChatGPTを公開したことにより、今年は非常に変化が激しい一年となり、その内容が反映されたような結果となっています。

2. Tech Blog

投稿件数

ブログ投稿数の推移

まずは投稿件数に関してです。2022年の58件には到達しなかったものの、2021年から続く高い水準を維持することができました。また、昨年まではおもにAIチーム(データサイエンティスト/機械学習エンジニアチーム)による機械学習周りの記事が多くを占めていましたが、今年からDevチームによるインフラ/フロントエンド/バックエンド系の記事も増えました。

アドベントカレンダー2023

記事執筆数を牽引しているAdventCalendarも今年で3年目となり、今年も途切れることなく投稿を完遂する事ができました。

アクセス数

アクセス数の推移

アクセス数の詳細な数字は伏せますが、2020年のアクセス数を1としたときに

  • 2020:1.00
  • 2021:4.59
  • 2022:4.46
  • 2023: 6.15

という推移になっています。

2021年に1つの記事が大バズリし、一つのラインとなっていたのですが、今年はそれをさらに超えるアクセス数を記録することができました。いつもご覧頂いてる皆様ありがとうございます。

ページビュー数ランキング公開

今年のアクセス数トップ10を公開します!

順位ブログタイトル公開年
1社内SQL研修のために作った資料を公開します2021
2【PyTorch】GPTをPrompt-tuningしてみた2023
3OpenAIのWhisperとChatGPTのAPIでGoogle Colab上で簡易なボイスボットを作る2023
4Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜2021
5Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜2021
6スペクトラルノイズ除去による雑音除去2020
7【AI Shift Advent Calendar 2022】Whisperによる音声認識のTips2022
8文書分類における古典的手法とBERTの判断根拠の比較2021
9trlを使って日本語LLMをSFTからRLHFまで一通り学習させてみる2023
10trlxを用いた文書生成モデルの学習①~ILQL編~2023

今年公開以外の記事も多くランクインしており、昨年同様に長年TechBlogを運営している効果が出ている結果となっています。

1位は3年連続となりました「社内SQL研修のために作った資料を公開します」の記事になります。毎年4月過ぎの研修の時期になるとX(旧Twitter)などで取り上げていただき、高い水準をキープしています。

トップ10に入ったラインナップを見ると、ChatGPTやWhisperなど大規模モデルの活用やモデルの学習/チューニング系の記事が多くランクインしており、今年を象徴するような結果となっています。

3. 学会

2023年は5つの学会で合計14本の研究発表を行うことができました。
年別の推移でも2019年:2学会,2本 -> 2020年:4学会,7本 -> 2021年:4学会,6本 -> 2022年:6学会,10本 -> 2023年:5学会,14本となっています。

今年はTechBlogの章でも書きましたが、大規模言語モデルが大きく台頭してきたことにより事業や研究の方向性も大きく変わる1年でした。参加している学会でも3月が論文投稿締め切りだった人工知能学会前後で大規模言語モデル自身を対象にした研究や、評価など一部のプロセスに大規模言語モデルが関係する研究が一気に増えた印象でした。

学会タイトル著者
言語処理学会第29回年次大会(NLP2023)日本語T5を用いたEntity辞書のメンション候補自動獲得手法の提案と評価◯上田直生也, 岡照晃 (都立大), 杉山雅和, 邊土名朝飛 (AI Shift), 小町守 (都立大)
意味的類似度計算システムによるチャットボットFAQシステムの性能向上◯栗原健太郎 (早大/AI Shift), 二宮大空, 友松祐太 (AI Shift)
頑健なFAQ検索に向けたPrompt-Tuningを用いた関連知識の生成◯二宮大空, 邊土名朝飛, 友松祐太 (AI Shift)
電話音声認識における特定の文脈へのドメイン適応のための合成音声によるデータ拡張◯東佑樹, 友松祐太 (AI Shift)
Next Sentence Predictionに基づく文脈を考慮したASR N-bestのリランキング◯邊土名朝飛, 友松祐太 (AI Shift)
タスク指向対話における強化学習を用いた対話方策学習への敵対的学習の役割の解明◯下山翔 (AI Shift/東北大), 森村哲郎, 阿部拳之 (サイバーエージェント)
タスク指向対話システムの方策学習へのDecision Transformerの適用◯戸田隆道 (AI Shift), 森村哲郎, 阿部拳之 (サイバーエージェント)
日本音響学会2023年春季研究発表会Continuous Integrate-and-Fire を用いた音声区間検出とターン終了検知のマルチタスク学習◯池口 弘尚(名工大), 東 佑樹(AI Shift), 上乃 聖, 李 晃伸(名工大)
2023年度 人工知能学会全国大会 (第37回)多様なタスク指向対話データの収集を目的としたクラウドソーシングにおけるインストラクションの設計 ―クリニック予約対話を例に―〇邊土名 朝飛(株式会社AI Shift/株式会社サイバーエージェント), 友松 祐太(株式会社AI Shift), 佐々木 翔大(東北大学/理化学研究所), 阿部 香央莉(東北大学), 乾 健太郎(東北大学/理化学研究所)
NLP若手の会 (YANS) 第18回シンポジウム (2023)カスタマーサポートにおけるLLM-basedタスク指向対話システムの構築と評価の検討◯二宮大空(AI Shift), 戸田隆道(AI Shift), 下山翔(AI Shift), 友松祐太(AI Shift)
日本語LLMベンチマーク構築に向けて◯栗原健太郎 (AI Shift), 佐々木翔大 (サイバーエージェント), 張培楠 (サイバーエージェント), 石上亮介 (サイバーエージェント), 三田雅人 (サイバーエージェント), 加藤明彦 (サイバーエージェント)
セールストークを対象としたエンゲージメント駆動タスク指向対話の検討◯邊土名朝飛(サイバーエージェント), 馬場惇(サイバーエージェント), 赤間怜奈(東北大)
第14回対話システムシンポジウム(2023)カスタマーサポートにおけるLLMを用いたRAGベース対話システムの評価と事業活用に向けた取り組み二宮 大空(株式会社AI Shift)
セールストークを対象としたエンゲージメント駆動タスク指向対話の検討邊土名 朝飛, 馬場 惇(サイバーエージェント), 赤間 怜奈(東北大学)

4. 終わりに

今回は、AI Shift Tech Blogが4周年を迎え、2023年のTech Blogおよび学会発表について振り返ってみました。また、本日でAI Shift Advent Calendar 2023の最終日を完走することができました。ありがとうございました。

2023年のTech Blogもこれを持ちまして最後となります。

AI ShiftのTechBlogは累積で216件となりました。年末年始でお時間有りましたらぜひ人気記事を中心にご覧いただけますと幸いです。

皆さんよいクリスマス/年末をお過ごしください。

============================

AI Shiftではエンジニアの採用に力を入れています! 少しでも興味を持っていただけましたら、カジュアル面談でお話しませんか? (オンライン・19時以降の面談も可能です!) 【面談フォームはこちら

PICK UP

TAG