Stockmark-13Bのプチ裏話とPACLIC2023の参加感想

読み物を書くのは久しぶりで緊張しています。高橋です。
本記事はストックマーク アドベントカレンダー 2023の9日目の記事です。(9
日目と言いつつ、13日目に公開しています。)

弊社ではstockmark-13bという130億パラメータのLLMを今年2023年10月27日に公開しました。OpenAIがChatGPTを公開したのが2022年11月30日だったので、約11ヶ月後にやっと弊社でも大きめのモデルを公開できるようになりました。今回のnoteでは、前半にこのstockmark-13bを作るにあたって作成者(上司)を近くで見守ってきた感想と、初現地での国際会議(PACLIC2023)に物理的にやられてきた旨を綴ります。

Stockmark-13Bを作るまでのプチ裏話

ストックマークはLLMユニットというユニットがResearch部門に存在するのですが、このnote公開時点において、LLMユニットでは上司と私の2人で大体の業務をしています。LLMを作ったり、アップデートしたりとLLM本体と関わる作業を上司が担当してくれていて、私の方ではLLMを弊社のプロダクトに導入するためのチューニングなどを行っています。

stockmark-13bの開発におけるデータ収集は、LLMユニットが行っているのではなく、ADPと呼ばれるデータ収集専門のチームあり、弊社のニュース配信サービスのために長い間継続されてきました。膨大な情報を収集し、これを基にした独自のルールベースのノイズ除去を行うことで、高品質なデータに揃えた状態でニュース記事などを提供しています。今回は13B用の学習データのために、このクリーンなデータから更にノイズ除去を行い、これがstockmark-13bの精度向上に重要な役割を果たしています。

13Bモデルの準備ですが、モデル設計・データ収集・学習基盤の確保等を1.4Bリリース以降引き続き行っており、事前学習自体は9月末から本格的にスタート、その後3週間ほどでリリース可能な状態にまで完成させました。ただ、その過程で上司が最も辛そうにしていたのが、checkpoint（13Bモデルの定期的な保存）を上手く実現できなかった点でした。機械学習モデルにあまり親しくない方々は、作成中の凝りに凝ったプレゼン資料のデータが、定期的に吹き飛ぶイメージをしていただけると近いと思います。時間としては1週間弱チェックポイント周りで上司は苦労されていたみたいなのですが、その当時、事前学習が上手く進んでいないというslackでの悲痛なやりとりを見て結構心配していました。

なお、13Bモデルの学習にはAWSのTrainiumを活用しましたが、その時点ではまだ完全なLLM事前学習のサポートが確立されていませんでした。障害が発生するたびに問い合わせを行いながら、最良の解決策を丁寧に模索することで無事に13Bの事前学習を終えることが出来たのではないかと思っています。

これからもstockmark-13bを通じて、より質の高い情報を提供し、ユーザーの皆様に価値ある体験をお届けするため、更なる研究と開発に励んでまいります。弊社の成長と進化に引き続きご期待いただければ幸いです。

PACLIC2023の参加感想

12/2-12/4のPACLICに参加してきました。弊社からは私がLLMを用いたQAデータ生成手法について発表してきました。
PACLICは小規模な会議で、初日のintroductionではNL研並みの参加者しかおらずかなり寂しい感じでしたが、セッションが進むに連れて徐々に人が増えた印象でした。

発表されている内容は、弊社の発表と同様にLLMを活用した・活用するための模索系研究が多く、まさに2023年LLM全盛期に突入した年のアジア会議にふさわしいものでした。初日にBloombergのCTO, Enrico Santusさんによる公演がinvited talkとしてありましたが、経営の目線からLLMに何が出来て何が求められるのかといったLLMを分析するような話があり、まさしく黎明期という雰囲気を感じました。また、弊社のCTOなら「LLMで〇〇が出来る！」といったLLMによるワクワクする未来を語ってくれそうと勝手に思っているのですが、Santusさんのお話は「AIがどういう立ち位置で活用できるか」が主軸で、面白かったです。アノテーションの話では、アノテータのマウス移動などのメタデータまで収集しているらしく、GenAIの分析という観点に重きを置いていることが伺えました。

と、これまで普通の学会参加感想ブログのように綴っていましたが、実は私のPACLIC2023参戦はかなり物理的に悲惨なものでした。
12/2(土)の現地開催に向けて、前日12/1(金)の夕方に関西国際空港から香港へ向けて出発したのですが、まず保安検査で1時間以上の大行列ができており、飛行機に乗り遅れそうになるハラハラ展開で私の香港出張はスタートしました。
そして、無事に香港空港に現地時間21時30頃に着き、ホテルを向かおうとしたところ、うっかり財布を家におき忘れたことに気づきます。このとき結構な絶望感があり、せっかくの海外なのにクレジットカード含めお金がなく、どうやってホテルに向かうか悩みました。結果的には、apply payが使える店が多く、空港と市街地の移動もapply payでバスに乗れたのでなんとかなりましたが、ローカルな飲食店やお土産などは全く手が出せませんでした。
さらに不幸なことに、学会3日目の中盤くらいから急に体調を崩して熱を出してしまい、香港出張は帰りの飛行機に乗れるか・乗れない場合に財布も無いのにどうやって飛行機・ホテルを確保すればいいのかという不安なまま最終日を過ごすことになり、あまり楽しめる状態ではありませんでした…
(帰りの飛行機乗る直前でなんとか復活して、無事帰国できました)

次回から出張時に財布は必ず確認したいと思います。

私のドジ話もありましたが、読んでいただいた方で弊社ストックマークに興味がおありでしたら、ぜひご連絡ください。

Stockmark 採用ポータル