![見出し画像](https://assets.st-note.com/production/uploads/images/118639791/rectangle_large_type_2_845950c1e1e9e43684ac81748c2bb461.png?width=800)
GPT-4を作れって上司に明日言われたら作れますか? #WandB
こちらの記事で、Weights & Bias社(以下、WandB社)日本語LLMのランキングを扱わせて頂いたのだけど、そちらのイベント「Fully Connected Tokyo 2023」に参加してきた。
アジェンダを見るとどれも興味深いけど夕方の16:30以降が一番面白いはず…そして最後のセッションSAI秋葉さんの記事を書きたい!
と思いまして、現地レポートしてきました
GPT-4を作れって上司に明日言われたら作れますか?
![](https://assets.st-note.com/production/uploads/images/118639264/picture_pc_ddfee98f68fb729c40699f3f455e7902.png?width=800)
️「GPT-4を作れって上司に明日言われたら作れますか?」というKagglerらしい軽快な喋りで始まった秋葉氏のセッション
![](https://assets.st-note.com/production/uploads/images/118639179/picture_pc_383a61dcd7655fd6e83cba6e049c777b.jpg?width=800)
シニアリサーチサイエンティスト
![](https://assets.st-note.com/production/uploads/images/118639185/picture_pc_215dbf32f8d4292540d9891e08bf70f1.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639219/picture_pc_1bf732837a43e87a25e8516355d15ba5.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639189/picture_pc_f70a804a24587f19f0091dbdca5a4845.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639191/picture_pc_0e0c070825a19b106ca7e89b398e2a17.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639193/picture_pc_d898cdb5eedede3a603eea354f95dfdf.jpg?width=800)
GPT-4はこれらの延長線上にあるの?
![](https://assets.st-note.com/production/uploads/images/118639192/picture_pc_58e1e4368e7bf3e52bbb4428946a1c8b.jpg?width=800)
商用利用可能
🎉お知らせ🎉
— Stability AI 日本公式 (@StabilityAI_JP) October 10, 2023
Stability AIが日本語指示応答言語モデルの商用利用可能バージョン「Japanese StableLM Instruct Alpha 7B v2」を公開しました!
以前のバージョンと性能は変わらず、新規事業やビジネスの場でご利用いただけます。
詳細はこちら👉https://t.co/eaTSivSxBv pic.twitter.com/NS87ImU0Xs
GPT-4を作れと言われたらどう答えるか?LLMの作り方
LLMをゼロからトレーニングするためのベストプラクティス PDF配布中
https://wandb.ai/site/llm-whitepaper-japan
![](https://assets.st-note.com/production/uploads/images/118639195/picture_pc_8ef18fd2b17f827224f9946b429cd896.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639200/picture_pc_76c01ff1b5ec137113b8bc49052cb269.jpg?width=800)
「LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス」
LLMの作り方 LLM構築タイムアタック!
![](https://assets.st-note.com/production/uploads/images/118639196/picture_pc_fca1365ccd3f7a69ab63917aa4c14ab6.jpg?width=800)
1 Pretraining
大量のデータを学習、大きな計算資源しよう
→これがあれば勝ち確。
2 Fine-Tuning
指示を聞く、対話を可能にする
スライドが要所要所でちょけてて笑う #あきばやべぇ #wandb pic.twitter.com/LTMs8brfxa
— 城戸 (Legalscape) (@p_km) October 11, 2023
![](https://assets.st-note.com/production/uploads/images/118639198/picture_pc_ba7c60be56be7af74c605620a489ad01.jpg?width=800)
モデル構築
Transformer, データセットはRedPajama
GPT-NeoXをインストール&実行
フレームワーク、学習設定はなるべく動きそうなものを使おう
ファインチューニングのデータ準備 Alpaca,Anthropic など
TRLXをインストール&実行 SFTだけでもいい
完成。ほとんどコードを書かずに作れる
![](https://assets.st-note.com/production/uploads/images/118639281/picture_pc_33134c95c84a0beb86063da9251b8f21.png?width=800)
![](https://assets.st-note.com/production/uploads/images/118639223/picture_pc_9a0fc15c9fce586cf8519bf308d1116a.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639226/picture_pc_72c43ed3d3de7a0f311e4ac75fcfd3c5.jpg?width=800)
より優れたLLMを作るには
![](https://assets.st-note.com/production/uploads/images/118639229/picture_pc_de94781955bd29fd4787b918b4d4d90d.jpg?width=800)
エンドロールから人員構成を算出
![](https://assets.st-note.com/production/uploads/images/118639230/picture_pc_f73d36ed524ab07fb6e831efcb37437f.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639234/picture_pc_3b64c40395932932c594691dacea1d54.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639236/picture_pc_31aa61a6c543d337a8ae505906179339.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639237/picture_pc_ac3aaf393a783c0bbf092b0a989863a7.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639295/picture_pc_46523c93d2988303556b66ab13df213e.png?width=800)
![](https://assets.st-note.com/production/uploads/images/118639242/picture_pc_35d11a483a897f1a77fe556bcd1764d5.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639245/picture_pc_c7a5118f0c9738d98e2b1301f9cb72e5.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639247/picture_pc_733b380cf30d3a8dc6c447359922e6ca.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639248/picture_pc_1555c24dc6189473f0754c2f58f36eb1.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639324/picture_pc_7cce9b60e4f258e5b9b8396cbeceab9f.png?width=800)
![](https://assets.st-note.com/production/uploads/images/118639249/picture_pc_79ad0e7e3bfc4b0947d87cb7d91855c0.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639253/picture_pc_e173f9d980cd9aae648fa75b45d21538.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639255/picture_pc_49d5acf7018fe248d6f654517464884a.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639258/picture_pc_0280d580232c925419718271843ad1d3.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118639260/picture_pc_2fff573abd8462dae83fd37b1c300499.jpg?width=800)
本日開催されました、W&Bカンファレンス、FullyConnected 2023 にてStability AI から秋葉がお話しさせていただきました。
— Stability AI 日本公式 (@StabilityAI_JP) October 11, 2023
たくさんの開発者の皆様がメモや写真を撮りながら真剣に耳を傾けてくださり、とても感激しています。
Stability AI はこれからも日本の開発者の皆様と共に頑張ります! pic.twitter.com/w6MzaR3Bcd
W&B Fully Connected、ありがとうございました!私からは「LLM、作るだけなら意外と簡単だけど、その上でどういう勘所があって、我々はW&Bを活用しながらちゃんと着実に取り組んでいるよ」という趣旨の話をさせて頂きました。一応スライドも公開しましたのでご笑覧下さい〜。 https://t.co/WST89C0Bt5
— Takuya Akiba (@iwiwi) October 11, 2023
個人的感想
そのほかのセッションもとっても良かった
時間あったらまとめたい
WandBのイベント良かった!
— Dr.(Shirai)Hakase (@o_ob) October 11, 2023
忙しいけど来て良かった#wandb pic.twitter.com/kE5q9bsyE2
知見を長々喋る感じでなくて、時間もきっちりで圧縮されていた感。
秋葉さんのセッションは、LLM構築を身近なものに感じさせるし、一方ではそんな簡単じゃないけどWandBのような環境でスッと作る事が大事だし、一方ではブラックボックス化しやすいOpenAIの中身を分析して上回るアプローチや、より効率的だったり軽かったりするモデルが日本の日本語の環境では求められていくのだなという印象を受けた。
テクニカルにはRLHF関係の扱いとか…
RLHFは無くても良いよって伏線は来月Stability AIが回収してくれるように聞こえた#wandb
— Shogo.A (@ShogoAkiyama1) October 11, 2023
WandBさんにも直接会えて、どんなユーザーが日本にいるのかとか、エンタープライズユーザだけでなく大学関係とかは無料だし(今回の東北大/NIIのLLM研究会の話もエキサイティングだった)、インターンも募集中。
日本の研究者が集まるオープンな組織「LLM 勉強会」がインターンシッププログラムを開始しています。https://t.co/FI2uTnjhjR#AI求人
— AICU Inc. (@AICUai) October 11, 2023
LLM構築はWandBのMLOpsの一角でしかない。
そして完全に不可能という技術ではないと勇気づけられた。今後もウォッチしていかねば。
![](https://assets.st-note.com/production/uploads/images/118650870/picture_pc_5c6021552134aeec0866043c556259a5.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118650873/picture_pc_f151119109be1c97dd96e17f690e4b2e.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118650876/picture_pc_f63225eb2677959e29119bad3e09d625.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118650882/picture_pc_14ac46abe389165cd3778f51d3d7a7d9.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118650885/picture_pc_b59ecd46c4659202f25cdfbc0f760656.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118650887/picture_pc_2023b390010ddd76ae5cc94a13e7dbe8.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118650890/picture_pc_120d780cc1f96ea8ac63faf171a34040.jpg?width=800)
![](https://assets.st-note.com/production/uploads/images/118650898/picture_pc_8e384c47a6cc250cb45844a95898a8a0.jpg?width=800)
この記事が気に入ったらサポートをしてみませんか?