2023年の振り返りと2024年の抱負
AWS の機械学習領域 Developer Relations として 2 年目を終えました。2023年は認知をとれる勝ち筋にこだわりたい、と年の冒頭述べていました。そんな 2023 年は ChatGPT が台頭する中 Amazon Bedrock の影もない逆境から始まったわけですが、AWS の勝ち筋はとれたのか ? が重要な問いになります。
現状評価としては、方向性は見えつつも状況が変わったと認知されるには最短であと 1~2 年必要かと考えています。会社の中期経営計画は 3~5 年で立てられることが多いので、 Developer Relations では生成系 AI 領域における AWS の確かな立場の確立をもって中計が締められることになる、でしょう。
本記事では AWS Japan の中でも特殊な Developer Relations の立場と 2023 年の施策を振り返りつつ、 2024 年の抱負を綴れたらと思います。本記事が note で書かれているとおり、内容は私個人の見解であり AWS の見解とは相違することもあります。その点はご容赦ください！
トップ画像は Nicolas Raymond さんのサンフランシスコの写真を使わせていただきました
AWS の Developer Relations とは
通常 Developer Relations というと開発者との関係づくりが第一義の仕事だと思います。 AWS だと Coursera で講座を出している Antje さんとか YouTube で分かりやすい動画を出している Mike さんらは "Developer Advocate" というロールで通常の Developer Relations のイメージに近い活動をしています。私自身 Antje さん、 Mike さんとお仕事することがあります。
AWS Japan の "Developer Relations" はちょっと変わっていて、特定領域で認知を拡大する戦略の策定と実行をミッションに持つロールです。特定領域は競合との競争が激しい領域で、ブログなどの発信を含めあらゆる手段を行使して状況変えることが求められます。戦略の執行に必要なリソースが要求できる権限を担保するため執行役員直下の職位です。 AWS のサービスチームへの働きかけによる機能改善は AWS の Developer Relations の特徴的な機能の一つで、以前 Mobile 領域の Developer Relations を担当されていた Wachi さんのブログにも詳しいです。では 2023 年あんた何やったのよ ? という話を今からします。
生成系 AI 案件提案の型を数百名へ展開
2023 年は生成系 AI が席巻した年といっても過言ではないと思います。 2022 年に ChatGPT が公開され 2 か月でユーザー数が 1 億人に達したと言われ、さらに 2023 年 3 月に API が公開され開発者の間で生成系 AI 機能の組み込みが急速に広まりました。 AWS では Amazon Bedrock の発表が 4 月、 GA が 9 月、日本リージョン到着が 10 月というスケジュールだったので、約 6 カ月間 ChatGPT と互換的なサービスがない状況が続きました。もちろんこのスケジュールは後から振り返っての話で、 2~3 月時点では GA がいつになるかは不明でした。
そんな状況で AWS がどう立ち振る舞うべきか、社内の資料を整理し一本のガイドとしてまとめました。 2 月時点から作成を始め、実際お客様にどんなことを聞かれたのかを営業や Solution Architect (SA) の方から収集するところから始めました。その後、収集した聞かれるポイントと AWS の公式声明から①提案ストーリー+提案資料、②質問応答、③ 提案後紹介すべき資料、といった行動ガイドとして整理しました。社内コミュニケーションツール上や週次のオフィスアワー、定期イベントで周知し現在数百名が参照するまでになっています ( 母数が不案内ですが 3~4 割の浸透率ぐらいかと ) 。
この文書の作成と周知は私一人では困難で、実際に日々お客様と対面する Business Development の方や営業、 SA の方によって内容のブラッシュアップ、拡散いただきました。戦略策定を主導する AWS Japan の Developer Relations らしい活動ができたかなと考えています。認知率はまだまだと感じるので継続的に改善、周知を進めていきます。
ML Enablement Workshop で300☆+
Developer Relations として、 2023 年は「本番環境での AI/ML 活用」に注力すべく ML Enablement Workshop の開発と提供に注力しました。背景として、 2022 年の活動で教材の普及による認知獲得とサービス改善点の提案がひと段落ついたためその先のステップに進みたかったこと、 AWS サービスの良さが「本番環境で利用したとき」の信頼性やスケーラビリティにあることが主な理由でした。そこで、 2022 年にすでに Money Forward 様へ提供し好評だった ML Enablement Workshop に注力しコンテンツの改善と認知拡大を進めました。認知の拡大は GitHub の Star 数で計測することにしました。この活動は、 ML Enablement Workshop の趣旨に協力頂けた運営メンバーと共に推進しています。運営メンバーの時間を割いていただくにあたっては上長のマネージャーと合意をし、隔月で活動から得られるリターンが期待値に合っているか確認しました。
2023 年終了時点で 7 社 17 チームへ提供し都度改善を重ねたこと、また最新のデータサイエンス活用事例を伝える「データサイエンスを活用するプロダクトマネージャーを訪ねて」の連載などを通じ目標を上回る 300+ の Star を獲得できました。さらっと書いてますがかなりチャレンジングな目標だったのでかなり感慨深かったです。 300+ Star は AWS Japan の中では最大でグローバルの中でも上位 1% に入る数です。
ココペリ様にはプレスを出していただくなど、熱量の高いお客様との出会いもあり自らも成果を出さずにはいられないハードルとして身が引き締まりました。ジーニー様には事例化の許諾を頂き GitHub に掲載済みです。
プロダクト作りに関わる方のコミュニティであるプロダクト筋トレでも活動を続け、 10 月と 12 月にワークショップの「理解編」コンテンツをもとに、プロダクトマネージャー向けに生成系 AI の活用用途を発見、ビジネスモデルをデザインして頂くイベントも開催しました。
コミュニティでの開催に当たっては運営の澁田さんに特にサポート頂き第一回では挨拶もいただきました。本体のワークショップは理解編を含め全 3 回で 7 時間程度かかる一方、こちらは 2 時間で収まり、「まず理解したい」方にとって提供しやすいコンテンツになりました。実際、イベントのブログを見て個社向けに開催してほしいというリクエストもいただき、実験的に提供を開始しています。
今後の課題は、認知をワークショップの提供、ワークショップの提供を本番稼働につなげることです。マーケティングのファネルが示す通り、認知はあくまで最終的な行動への入り口です。特に生成系 AI の領域では認知にハンデがある状況なので、高効率に行動につなげることが重要になります。ワークショップの提供が本番稼働につながるには終了後をサポートするお客様担当の営業や SA の方の協力が不可欠です。すでに営業の方との 1on1 による課題・機会のヒアリングや SA の方向けのトレーニングセッションを開始しており、 2023 年中にファネルを機能させるのが一つ目標になります。
Amazon SageMaker Studio Lab の UI 改善
先のセクションで「サービス改善点の提案がひと段落ついた」と述べましたが、 2022 年末に提案した UI の改善が実装されました。すべてが実装されたわけではないのですが、プレビューページから Notebook を起動するまでの動線、ログインページから Request Account するまでの動線が改善されています。
2023 年冒頭に「2023年は2022年に送ったフィードバックを実装という形で結実させたいところです。」と宣言した通りできました。
機械学習の教材は増やせていたので、教材を AWS のサービスである Studio Lab で開くまでのストレスをゼロにすることを目的に改善点を上げました。具体的にはユーザーインタビューの手法に基づき機械学習の知見はあるが Studio Lab は未経験の方を募集し教材にアクセスしてから Studio Lab で実行するまでのステップでどこに詰まるのかを観測しました。つまり具合を 3 段階で定量的に評価しスコアが高い点を優先度高として改善を要求しました。ドキュメントだとなかなか読んでもらえないので、ユーザーの課題と解決策を 2~3 分でまとめた動画を作って PdM に共有したところ、良い反応をもらえ実装につなげることができました。 PdM に定期的に Studio Lab の利用状況やフィードバックをまとめてミーティングをしていたこと、 UX デザイナーの方と 1on1 をしておきフランクに意見を出せる関係を築いていたことが実際実装されるにあたりかなり大きかったと感じています。
滑らかな体験の実現にはまだやることがあるので、引き続き改善に取り組んでいきます。
Amazon SageMaker JumpStart への日本語 LLM の登録
年初では Amazon Bedrock の GA がいつになるか不透明で、日本語の大規模言語モデルがいつ使えるか見通せない状況だったため OSS のモデルをいち早く使えるよう動きました。その当時最高性能だった rinna さんにコンタクトを取り、 OSS の LLM が簡単に動かせる Amazon SageMaker JumpStart に掲載しました。
rinna って M から始まるあの会社の・・・と思う方は多いと思います。ただそんなことはお客様に関係ないので、当時 Stability AI のベンチマークで最高性能を記録していたモデルを持つ rinna 社の方に伝手をたどりコンタクトを取り掲載承諾を頂きました。 rinna 様にはその後 LLM 開発支援プログラムにも参加いただき、新しいモデルの構築を支援させていただきました。
Nekomata 14Bの日本語継続事前学習は、AWS LLM開発支援プログラム ( https://aws.amazon.com/jp/local/llm-development-support-program/ ) のサポートを受けています。ML専用のアクセラレーターチップであるAWS Trainiumを搭載した16ノードのAmazon EC2 trn1.32xlargeインスタンスを用いて、660億トークンの継続事前学習は約7日で完了しました。
Amazon SageMaker JumpStart への掲載は、「お願い」「OK」と簡単にはもちろんいかず、サービスチームとの交渉と日本側での開発が必要でした ( サービスチームは日本語わからないので ) 。上記ブログにも書かせていただきましたが、本当に多くの方の協力で実際にサービスに掲載するところまでたどり着けました。今のところ OSS の言語特化モデルを登録できたのは日本だけで、日本チームのノウハウをまとめたガイドは他の国のチームにも参照されています。
Amazon Bedrock でつかえる Claude の日本語性能が幸運にも高かったので 1st choice の役割からは退いた形ですが、 API 経由だとコスト高になったりカスタマイズしたい場合は OSS が選択肢になります。どこに API と OSS の分水嶺があるのか ? はまだ未解明だと認識しており、↓のブログなどで実験を進めています。来年にさらに詳しい内容を公開予定です。
Fine Tuning については W&B さんのイベントでも詳しく語らせていただきました。
AWS では API 経由での高精度かつ迅速なモデルの利用から、カスタマイズ可能な OSS のモデルを自社独自にホスティングする利用まで、ワンストップで提供できるようになりました。さらに、 Amazon Bedrock はフィルタリングを担当する Guardrails と評価を担当する Evaluation が Preview で登場しました。これにより利用→データ蓄積 ( 監視 ) → フィルタ、カスタマイズ→評価→体験向上→利用増→・・・のサイクルが回せるようになったのは 2023 年の大きな到達点だと思います。
JumpStart への登録は Amazon / AWS 含めた Japan 全体での社内表彰を獲得できました。一番うれしかったのは、チームで受賞したので関わっていただいた方々に実績に残る賞を提供できたことです。 Developer Relations は執行役員直下でマネージャークラスのポジションなので、成長機会を作ることは意識しており一つ形にできたかなと思います。
2024 年の抱負
2024 年は「高効率なファネルの構築」が大きなテーマと考えています。ML Enablement Workshop では認知→提供→本番導入、大規模言語モデルでは LLM の登録→利用、 Studio Lab では教材→参照→実行のフロー、などです。認知にビハインドがある状況でお客様が AWS を選ぶ意味を「高効率」の単語に込めています。 AI/ML 、ひいては生成系 AI は手段であり求められているのはより良い体験とその提供を通じたプロダクトの成長のはずです。可能性は感じるがどう使ったらいいかわからないという声は定量、定性共に確認できてきています。
そうした声に応えるため AWS は AI/ML のサービスと啓蒙だけでなく具体的なプロセスを提供します。 ML Enablement Workshop はもちろん、 Generative AI Innovation Center といったグローバルでのプログラムがその実体です。サービスを含めて手札はそろった状態なので、次は手札をどううまく組み合わせるかが課題と考えています。 Developer Relations がいなくても認知から成果が積まれるファネルが作れたら、自分の実績として少しは誇れるかと感じています。
認知の拡大はコミュニティで活動頂いている方と連携を深められたらと考えています。 Amazon Bedrock が登場し本当に「待たせたな！」という感じでコミュニティでの情報発信が活発になってきていると感じます。 11/13 の JAUW-UG のイベントでは 600 名超に参加いただき、アドヴェントカレンダーも盛況でした。
また、ML Enablement Workshop でもポッドキャストに招待いただくなど外で話す機会もいただけました。
2024 年は AWS や ML Enablement Workshop をいい / 面白いと感じていただける方と輪を広げていければと考えています。
余談 : 個人の話
今年は子供のイベントに積極的にかかわることを意識しました。初めて子供を連れてディズニーランドに行ったのですが、事前に周到に調べておいたおかげで楽しめました。楽しんでいる子供と奥さんの顔をみて、目標が少しは達成できたかなと感じました。もともと放っておいたら一日中部屋でプログラム書いていたり記事執筆していたりする=自分の時間を最大化してしまう方なので、家族のために考えたり時間を使うのを自分の価値観や生活に織り込んでいくのを進めた 1 年でした。これは 2024 年も課題です。
Developer Relations は多様な人とかかわるロールなので自分のコミュニケーションの取り方を改めて見直したりもしました。 NVC の本は今年読んだ中で一番強烈に良かった本なのでお勧めです。家族とのコミュニケーションでも役立っていると感じます。
書いている間に 2024 年になりましたが引き続きやっていきます！
この記事が気に入ったらサポートをしてみませんか？