Fully Connected Tokyo 速報レポート Part3
2023年10月11日に日本で初めてのWeights & Biases ユーザーカンファレンスである、Fully Connected Tokyo 2023が開催されました。本イベントは、日本をリードするW&Bユーザーの皆様からその最新のML開発・運用のノウハウをご共有いただくことを目的にして東京スクエアガーデンのコンベンションホールで開催され、約300人の参加者が集まり、大盛況となりました。
3つのパートからなる本イベントの最後のパートでは、W&B Japanの山本祐也からW&Bよりのアナウンスに始まり、幅広いスピーカーからお話を伺うことができ、W&Bが様々な用途でML開発を支えていることを実感できる内容でした。お一人ずつ講演内容をレビューしていきたいと思います。
「W&Bからのアナウンス② 技術書典15への出展の告知と寄稿のお願い」 - W&B Japan 山本祐也
前回、Part2にてWandb Report Challengeとその豪華賞品についてお知らせしました。今回、Part3の冒頭ではもう一つ特別なお知らせをお届けします。技術書典15（2023年11月11日（土）から2023年11月26日（日）開催、オフラインイベントは2023年11月12日（日））への出展決定！更に、W&Bコミュニティの皆さんと一緒に素晴らしい書籍を作成するため、著者を募集しています。
残念ながら、この企画でのApple Watchのような賞品の提供はございませんが、1ページ（約1,000字）以上の寄稿をいただいた方には、共著者として名前を掲載させていただきます。興味を持った方、一緒に素晴らしい内容を共有したい方は、WandB JPのSlackチャンネル #wandb -community-book までお気軽にご連絡ください。
「Dagster, Weights and Biases」 - SyntheticGestalt 神谷幸太郎様
自己紹介・会社紹介
ちょうど2023年のノーベル賞受賞者も発表されたこのタイミングで、「発明は人類の可能性を押し上げるものであり、それを人工知能の力で自動化する」というSyntheticGestaltのCTO神谷様の力強いステートメントからのご講演で、特にライフサイエンスの領域が次の主役として注目されていることに触れ、既に東京工業大学との共同研究で新規PET分解酵素4種の発見など、その可能性を実証する成果が出ていると紹介しました。
多様な計算シナリオのオーケストレーション
ご講演の中身については、バイオやケミストリーに特化した専門的な話ではなく、W&Bを含めた多様な計算モダリティのオペレーションのDagsterによるオーケストレーションに関する内容でしたので、幅広い参加者にとって非常に実用的だったのではないかと思います。また、自然科学に関係するテーマでは、計算化学的アプローチと機械学習を含めた計算シナリオを統一的かつ一元的に管理する必要があるというのは納得感があり、スマートでもあると感じました。
Dagsterの設計思想
ワークフローにはデータフロー型（データの流れ）とタスクフロー型（タスクの実行順序）がありますが、Dagsterは前者にあたるデータフロー型のワークフローオーケストレーションツールで、処理の流れをDAG (Directed Acyclic Graph) として表現します。DAGは、タスク間の依存関係をノードとエッジで示すグラフです。これにより、タスクの実行順序や依存関係が視覚的にわかりやすくなります。この際にGUIでなくPythonによるコードベースでの整理が可能であることからバージョン管理や共有、再利用が容易になっています。これはデータやその他のアセットをコードで定義するDagsterの考え方「Software-Defined Assets」に基づいています。
WandBとDagsterのインテグレーション
DagsterのI/Oマネージャは、データの入出力やストレージとの連携を抽象化し、データの外部化や型変換を透明に処理することができます。実はW&BはDagsterとのインテグレーションを備えており、W&B用のI/Oマネージャを提供しています。これによりW&Bのアーティファクト機能やモデルレジストリ機能をDagsterから容易に利用することができます。神谷様がご講演の中で言及されていた点として、「モデルのバージョンだけでなく、トラジェクトリーも管理したい。そのような経路依存でそのモデルができたのか（まで含めてトラックすることが必要だ）。」とおっしゃっていましたが、まさにW&Bによる実験管理の真髄をライフサイエンス分野で体現されていることを嬉しく思いました。
「AI DJパフォーマンスを通して考える、創造性とAIの未来」 - Qosmo 徳井直生様
自己紹介・会社紹介
次のご講演は一転してアートの領域からのご発表で、徳井様は今日の生成AIの流行のはるか以前２０００年頃から AIが人間の創造性にどのような影響を与えるかという題材に取り組んでこられたとのことです。
AIアートの変遷
AIアートの概念自体は２０００年当時から存在していたとのことですが、近年になって大きく変化してきており、その中でアーティストの反発といったことも起きています。具体的には、２０１８年のAIアートの作品ではAIならではのテクスチャ、質感、未知の表現を模索する試みだったのが、Stable Diffusion等の登場で"〇〇っぽさ"への高速で低コストなアクセスが可能になることで既存の表現物のソレっぽさを模倣・再生産する試みに変質してしまい、そしてそのほとんどがアートではないと評されていました。こうした中で現在アートの人は全くAIアートを危険視しておらず、それは対象としている創造性のカテゴリがAIによって脅かされているカテゴリと別であるからと説明されていました。興味深いですね。
AI x 人間の創造性
では、AIのアートにおける使いどころはどのようなところにあるかというと、既存の表現の組み合わせから未知の表現が生まれるジャンルとしてDJを挙げられており、AIと徳井様によるバック・トゥ・バックの試みをご紹介頂きました。AIを使ったリアルタイム音楽生成ではスペクトログラムをGANで生成しているそうで、拡散モデルではなくGANを使っているのはリアルタイム性を重視しているためとのこと。この学習においてWandBを使って頂いており、学習中の生成音楽をサンプリングして実際に聴きながら、「ちょっと上手くいってないからやり直そうか」とできるのが最高だとご評価頂けていました。
丸ごと何かを学習して生成するだけがAIアートではなく、人の創造性をどのように拡張するか、人の創造性と組み合わせるかが大事であるとまとめられました。一際異彩を放つご講演でしたが、X（Twitter）での反響も大きく、本イベントの幅の広さを実感できました。
「LLMおよび言語処理研究でのWandB利用例の紹介」 - 東北大学教授 鈴木潤先生
自己紹介・研究グループ紹介
東北大学の鈴木先生からTohoku NLPグループおよびLLM勉強会（LLM-jp）での言語処理のご研究と言語モデル構築のお取り組み、その中でのW&Bのご活用についてご講演を頂きました。鈴木先生はこの2023年10月1日付で新設された東北大学言語AI研究センターのセンター長に就任されたタイミングでもありますが、文学部なども含めて応用なども視野に入れた幅の広いご研究をされている組織で、日本の大学ではこの分野に特化した研究所はこれが初めてなのではないかとのことでした。
言語処理研究のおけるWandBの活用
WandBには２０２０年頃から注目されたとのことで、アーティファクト管理やマルチモーダルデータの可視化と分析、レポート機能による共同研究者との情報共有などかなり使い倒して頂けている状況をご説明頂きました。産業界のMLエンジニアでもここまでWandBを使いこなしているユーザー様は限られるであろうレベルでW&B社員の私が驚かされたほどです。素晴らしいの一言ですね！
オープンサイエンスへの取り組み
そして、誰でも触れるオープンなモデルが健全な研究開発には必要であり、そしてLLMがなぜそうなっているかもしっかり研究する必要があるとの当時の議論からLLM勉強会が発足したこと、失敗も含めて全てオープンにすることとその意義について実際のW&Bのプロジェクト画面も交えてご説明頂き、オープンサイエンスとW&Bの相性の良さを印象付けるご講演でした。EleutherAIの公開ダッシュボードもそうでしたが、W&Bのプロジェクトのレベルで公開されると単にコードも公開するだけの場合と比較してトレーサビリティも再現性も桁違いですので、W&Bもこうした研究で活用頂くことを介してオープンサイエンスに貢献していることは社員としても嬉しく感じる点です。
Future Plansと会場からの反響
そして、ご講演の終盤の「13Bの基盤モデルをまもなく公開できると思う。ログも試行錯誤の過程も公開される。175Bのモデルも作り始めている」とのアナウンスは会場でもSNS上でも大きな反響を引き起こしました。私自身これを非常に楽しみにしています！
「LLMの開発は難しい？簡単？Stability AIの現場から」 - Stability AI 秋葉拓哉様
自己紹介・会社紹介
本イベント最後のご講演はStability AI 秋葉 拓哉様から頂きました。Stable Diffusionで有名なStability AI社のこれまでをレビューした後にLLM開発についてご講演頂きました。秋葉様による軽妙で引き込まれるトークで会場を魅了しつつ、LLMの開発プロセスの概略を示した上で最前線での差別化ポイントとなる要素をOpenAIの人員構成分析から紐解く内容でした。
LLM開発タイムアタック
「GPT-4は凄いですよね、でももし明日上司にGPT-4を作れと言われたら出来ますか？今日はその解像度を少しでも上げて貰えれば」というご講演で、以下LLMタイムアタックとして項目ごとに今やるならとりあえず何をすべきかを順に解説して頂きました。
事前学習
GPUを確保する：本来ならここが一番大変だが、リソースは確保済とする
データセット：英語ならRedPajama、今すぐダウンロード！
基盤モデルの学習：GPT-NeoXをインストールして実行。分散学習大変だなぁと思うかもしれないが、これが動くなら意外と簡単。ただし、動かない場合のトラブルシューティングにはHPCの知識が要るかもしれない。
ファインチューニング
データセット：意外とこちらも無料でダウンロードできる
チューニング：TRLXをインストールして実行。RLHFまで必要かSFTだけで良いのかは次回以降のご登壇で説明されるかもとのことだが、SFTだけでもそれっぽくなる。
こんなエイヤではさぞかしショボいLLMしかできないかと思いきや、意外とそれっぽいものがちゃんとできるそうで、確かにご講演を聞いていると「意外と（思っていたよりは）簡単そう」と思えてきたので不思議ですね。
GPT-4は現状のOpenLLMsの延長線上にあるのか？なぜ強いのか？
ここで終わっても素晴らしい講演だったのかもしれませんが、さらに踏み込んでいきます。「では、GPT-4はこの延長線上にあるのか？」
GPT-4 Technical ReportのContributorの記載を元にOpenAIの人員構成を推定し、どこが勘所なのかを要素ごとに分析していきます。
分析は多岐に渡りましたが、例えばPretrainingにおいてモデルアーキテクチャは「確かにじわじわ進化しているがGPT-4のPretrainingが行われたのはかなり前であり、そこが差別化ポイントではなさそうだ」や「Mixture of Experts (MoE)はOpenLLMではあまり模索されていないが、GPT-4はやっていると言われている。ただし、エンジニアリングコストは跳ね上がる」、「Evaluation & Analysisがレポートでは人数は一番多い」など非常にワクワクする内容でした。
この記事が気に入ったらサポートをしてみませんか？