『生成AIカンファレンス2024』に現地参加したイベントレポート
はじめに
スマートラウンドでエンジニアをしている福本です!
2024/05/08(水)に開催された『生成AIカンファレンス2024』に現地参加したので、メモの公開RTAをしたいと思います。
厳密な文字起こしではないので、足りてないところ・読みづらいところがたくさんあります(スマン)。前提として自分がWebエンジニアなので、アプリケーションレイヤー寄りの話に興味が湧きがちだったりします。
ちなみに、参加申し込みをされた方は、後からアーカイブが見れるのでそちらもあわせてどうぞ 📽️(2024/05/15 19時に「アーカイブが公開された」との連絡が申し込み者向けにメールでありました)
他の方のまとめ
他にもブログやTogetterでまとめてくださった有志の方もいらっしゃったので、参考のために以下に添付しておきます👇
それでは本編へ…
以下からが本編の各セッションのメモです。資料が公開されたら随時貼っていこうと思います。また、間違いがあれば随時直していくつもりです。
①生成AI産業の直感的理解とAIの社会実装装置としてのPKSHA
1. 前提
全産業がソフトウェア産業化する
そして、全ソフトウェアがAI化する
ソフトウェアエンジニアは社会を駆動させるエンジンである主役になる
2. 生成AIを俯瞰して見る
どう捉えるべきか
他のサービスと比較しても信じられない速度でChatGPTが普及した
生成AIをどう捉えるか→点ではなく線で見よう
ワールドモデルの大切さ: 「広い時空間世界認識と予測 + 制御能力」 = 「知性」と定義している
過去
人とソフトウェアの密結合化が進んだ
フロントエンド側の進化
コンピュータがIFを切り替えながら、我々人間の身体や脳に近づき続けている
IF(インターフェース)が切り替わるタイミングで、2桁兆円規模の産業が勃興している(=世界が変容している)
IFが人に優しくなるのは歴史上必然
バックエンドの進化
ソフトウェアの記述の方式が変わった: 人間が演繹的にコードをすべて書いていたのが、データにより自動生成されたコードを書く時代になった
生成AIにより帰納的にコードを書くようになる
ニューラルネットワーク・生成AIはソフトウェアの部品か?新しいソフトウェアアーキテクチャなのか?
10年後のエンジニアに求められるのは、単に特定の技術を扱うのではなく、様々なソフトウェアの技術スタックの上で何に対して技術を使うのかを見極めること
現在
生成AIは今どこにいるのか?
忘れられがちな真実: 物理世界には様々な制約条件が存在する
電力や計算機資源、キャッシュフローなど
Deep Learningのときと同じ風景だと感じている
AIの社会実装のゲームは、社会実装工学のゲームである
方法論は光学的に定式化できる
技術だけでなく現実世界のワールドモデルの解像度が重要
そのために、自らが内面のワールドモデルを育てて社会をエンパワーメントするのが重要
3. 社会実装
事例
PKSHA Security: 決済トランザクションをリアルタイム検知している
精度・速度・コストのトレードオフ問題を最適化した
ポイント
実践と社会の共進化を通じて、ワールドモデルを拡張する
共創, 1人(社)でやらない: 1人(社)でやれる認知の限界を超えている→異なる専門性を持つ人達で一緒にやる必要がある
越境せよ: 社会はクラスタを形成しているので、”異分野-境界”の分野をまたぐのが大事
最も大事なこと
エンジニアの意思(社会をこう変えたい…という偏愛)の力が原動力
②LLMの最前線と今後の展望
1. AIによる産業のインパクト
AIができること
膨大な情報を瞬時に処理できる
莫大な量のタスクをタフにこなせる
高度な分析や判断、問題解決ができる
ロボットと併用すれば実世界作業も自動化
AIがもたらすインパクト
2030年までに15.7兆ドルの経済効果
高い教育水準が必要な仕事にも影響
多くの仕事に影響を与える(タスクではなくジョブが変容する)
人間の生活・常識・行動様式・価値観が変わりうる
2. AIによる知的労働の変化
AIは既に専門家並の知識を有している
AIにより知的労働の制約が小さくなる
人とAIはお互いの強みを活かして協調する
→人は新たな技術や知識を吸収し柔軟に対応していく姿勢が求められる
3. AIの最新モデルの学習に必要な計算資源の増加
必要な計算資源が飛躍的に伸びている
2026年には必要なスパコンがなくなっている可能性がある
4. ここ1年のLLMの流れ
GPT-4レベルに多くのLLMが追いついて並んできた
同じ能力の推論に必要な計算資源は劇的に改善され続けてきた
オープンなモデルもクローズドモデルに急速に追いついている
スケール則は続くのか?
これより大規模な実装は困難で費用対効果も難しい
スケール則の傾き改善は急速に進んでいる
5. 大規模モデル開発の課題
大規模モデル開発は試行錯誤がしにくく研究開発の進展が遅い
大規模モデル開発は一発勝負
一方、強い小規模モデル開発のために大規模モデルが重要
収集データをLLMが学習しやすいようにLLMの加工が重要
強いLLMから小さいLLMに蒸留するだけでなく、「生成よりも識別が簡単」なためのデータのフィルタリング・ラベリングし自分より強力なLLMの学習を助けられる
LLMで学習のためのデータを生成することは進む
LLMは様々な知識を後続タスクで自在に使えるような索引とみなせる
パラメータあたり2bitの情報を覚えられる
しかし、この記憶効率で覚えるには100回以上のデータを様々な形で観測する必要があり時間がかかる(人間なら数回で済む)
プライベートデータの取り込み
ファインチューニング
RAG
長コンテキストに拠るIn-Context Learning
③大規模言語モデルを作るその意義に迫る
1. 大規模言語モデルを開発する意義
人間の知能がどのようにできるのかを知りたい
大規模言語モデルがどうできているのかを理解したいし、レシピを持ちたい
「どうすれば技術的に実現できるか」を感覚的に理解できるようにするのが大事
有名な海外製のAIだとダメなのか?に対する回答
トークナイザー: テキストを区切る能力
これがLLMの処理効率の改善に繋がるので、日本語プレイヤーが出るのは重要
日本にローカライズされた知識を獲得させる
例: 弁護士的な動きをさせるときに、海外製だと日本の法律を知らない
ビジネスに特化したLLMを作っていきたくて、日本のビジネスで活用されるものを作りたい
2. LLMを作って苦労したこと
データは大きく変えてないのに、出力がうまくいかないことが多い
作ったモデルのコントロールが難しい
事前学習で、大規模なデータをどう集めてくるかが難しい
今はWebのアーカイブからクロールして取ってくることが多い
これに計算資源が多く必要になってしまう
学習の途中で発散してしまうことがよくある
事業として考えたときに、2019年くらいのパラダイムだと平気で数千万円掛かる上にそれが使い物になるかわからなかった(ソーシャルゲームのガチャに近い)
ChatGPTが出たときに「どう対抗すべきか」を考えたときに、資金力では勝てないと思った
コストがかかるのは事前学習の部分で、それは誰かがやってくれると思い事後学習に振り切った→Llama2が出た
3. LLM↔アプリケーション↔現場
作っているLLMをどう使ってほしいか
できるだけ味付けをしていないモデルを作っている→ある程度達成できた
今後はある程度汎用的なことができるようにしていきたい
それをビジネスの現場で使ってもらえるようにしたい
相談を受けたりプレスリリースを見たり…
出力に対する捉え方(要件)が人によって違うので、どこに向けたゴールに設定するかが難しい
最近はプロンプトをいじれば何とかなるケースが多い
「こういう出力をなくしてほしい」という要望は結構多い
とにかく「評価がだいじ」
生成AIは「何かを生成する」のであって、その成果物を人が評価してもらう必要がある
そのフィードバックを高速に回す必要がある
LLMを使うときのレベル分け
レベル0: LLMとプロンプトを使う
レベル1: UIを弄る
レベル2: データや出力の前処理や後処理を行う
レベル3: LLMのモデルをチューニングする
→レベル3に到達する時点で、多くの業務改善はある程度達成されているはず
④日本の生成AIをリードする企業に学ぶ、革新的アプリケーションの創造
1. 基盤モデルとの向き合い方
LLMはとにかくやってみるのが大事、やってみてフィットするかどうかをやってみる
原価の捉え方を考えるのはすごく大事
日本ではLLMを入れても人をすぐ減らせるわけではない→コスト削減の数値を出すのは難しい
短期の期待値を超えるのが難しいので、長期的な取り組みに出来ない
短期は「やれそうだからやってみる」という勢いが大事
最新のモデルを常にキャッチアップするのと、入力と出力などモデルの評価軸をしっかり整えることが大事
LLM単体で評価するのではなく、アプリケーション全体/人がやっている作業も含めた全体で価値を評価する
2. 競合との差別化ポイントの作り方
”スピード”と”質”と”ドメイン知識”で勝負している
労働集約的だったビジネスモデルを、LLMの登場によって労働力をボトルネックにさせないようにすることが可能なのではないか?というチャレンジをしている
これまでの競合との戦い方が全く違うと感じている
生成AIは正直中身を全部わかってる人が居ないので、これまでの経験を積み上げる戦い方とゲームが変わる
ユーザー側の知識をしっかりつけて、簡単に真似されない状況を作る
モデルで戦うのは大変(コストが高い)
3. 開発するアプリケーションの決め方
従来のプロダクトマネジメントの文脈ではなく、「まず作っちゃおう」から入る
議論の前にプロトタイプを見せることで、ソリューションに関する議論のあり方が変わった(LLMによりコストが下がった)
期待値がひたすらに高いので、アイデアがお客さんからたくさん出てくる
なので、設計することが結構難しい→「やれる人がやっちゃう」が良い
生成AIはHowなのでシンプルに「大きい課題があるか、儲かるのか」という視点が大事
短期的な視点や長期的な視点はここでも切り替えて考えて持つ必要がある
その他
プレイドさんの取り組みは、事前に予告スライドがあったみたいです
⑤LLM評価のベストプラクティス
※お弁当に全力投球してたので全然メモ取れてません(美味しかったです🍱)
LLMは評価が大事で、めちゃ難しい
Wandb: LLMモデルの日本語による能力評価
⑥本当に勝てるのか、日本のAI戦略
1. 国内の動き
首相とサム・アルトマンの面会
AI戦略会議
リスクへの対応なども含めて話された
AI関連の経済対策について
GPUがないと話にならない→国内にグローバルに戦えるプラットフォーマーがない→このままだと日本は勝てない
海外のBigTechはGPUに大量に投資をしている
そのため、GPUを購入するための補助を国が出すようにした
今年は購入したGPUの活用が重要になってくる
2. 国際的な動き
EU
AI法案を採択した
リスクベースアプローチであり、リスクに応じて規制内容を変えるようにした
米国
AIに関する大統領令を出した
大統領令→色んなプロセスを省略できるので、短時間で出せる
イノベーションを重視するやり方
イギリス
AI Safety Summitが開催された
29カ国による共同宣言「AI安全に関するブレッチリー宣言」を公表
日本
広島AIプロセス
各国共通の基本的な方針に合意するもの
これはすごくいい仕事をしたと思う
大統領令にも影響を与えるなど、グローバルに存在感を示した
AIセーフティ・インスティテュート
AIの安全性などを管理する専門機関
人事もスピーディで、人選も優れている
US/UKの次に日本が方針を示した
昨年から、AIの重要人物が多数日本を訪れている
なぜ来ているか→日本の存在感が強いから
前提: そもそもデジタルの時点で、日本は負け状態でスタートしてしまっている
つまり厳しい状態から日本はスタートしているが、その中でも最善手を指し続けている
わかりやすい勝ち筋はないが、これをずっと続けてゲームを続けていくことが大事(GPU増強、リスクへの対応、グローバルな議論のリーダーシップ、活用の促進etc…)
シンガポール
アクションアイテムを15くらい立てている(NAIS2.0)→全部日本もやっている
シンガポールが計画・やっていることを、日本はすべて取り組んでいるor議論をしている
日本はこれまで、重要だと気づいたときには勝負がついていた(ex. iPhone, 検索エンジンのキャッシュ…)
シンガポールは東南アジアの言語や文化に特化したLLM開発プログラムを立案
シンガポールは予算が少ない(年間200億円)→日本が協力したいとなれば乗ってくる
東南アジア連携(日本のLLM業界における勝ち筋)
シンガポール政府と連携し、日本が東南アジアLLM開発に参画することで、リードする立場になれる
LLMの互換性が日本と東南アジア間で生まれる
日本企業の東南アジア進出機会が広がる
日本でもLLMがたくさん作られている
しかも、ビジネス方面ではなく技術に関する興味ドリブンで進んでいる
このように、最善手を指し続けることによって「何かが起きる」(今回はシンガポールの計画)
海外ビッグテックの動向
海外ビッグテックがなぜ日本に拠点をおくのか
AIにポジティブな反応
人件費の安さ
大企業のDX余地が大きい
3. 日本の可能性
大前提: 利用・開発と、懸念・リスクの対応バランス
活用を進める、地方での活用の活性化や大企業のDXなど
国内産業からは、医療・金融・製造で活用
グローバルに展開
※最善手を指し続ければ、そのうち勝負を掛けられるタイミングがある
⑦LLM開発と社会実装の壁
1. クオリティvsコストによるトレードオフの関係
機械学習・Post-Trainingあたりが精度限界の境界面
0からの構築やRagはその境界の外
3年くらいすると新しいモデルが出て、再度トレーニングし直す必要が出る
AgentがAPIとしてだけでなく、人に聞きに行く形も検証している
⑧生成 AI の今後のニーズを見据えた Microsoft におけるさまざまな取り組み
1. インフラ
Microsoft + NVIDIAは、ML Commons MLPrefのベンチマーク速度はNVIDIA BreMetalに匹敵するレベル
クラウドプロバイダーとしてはトップ
Oliveでさまざまなハードウェアをモデル変換・最適化するソリューションを提供
2. モデル (Multimodality LLM)
Multimodality: 画像とテキストなど複数のデータを一度に渡して処理すること
コンテキストを理解して解釈できるようになった
3. アプリケーション
AutoGen
マルチエージェント: 異なるモデル同士で学習させるほうが遥かに効果がある
GAIAのベンチマークで1位を取っている
Copilot (Copilot for Microsoft 365)
Azureは、Officeなどを通じてビジネスに関するデータが一番入っているプラットフォーム
ExcelやWordなどの操作や作業を引っ張って来てくれるような世界観
Copilot Studioでコードを書かずにCopilotをカスタマイズできる(AIの民主化)
⑧世界の生成AIがもたらすクリエイティブ革命
1. クリエイティブ革命のはじまり
2022/8/22 Stable Diffusion
Sora: OpenAI社の動画生成AI
タイラー・ペリーがSoraにより8億ドル規模のスタジオ拡張を中止
AlphaGo以降の囲碁棋士たちの能力が飛躍的に向上し、より創造的に
クリエイティブに関わる人達も同じようになるのではないか?
2. デザインの民主化
Midjourneyの進化
わずか1年程度で実写と遜色ない水準に到達(V6だと実写と見分けがつかない)
Stable Diffusion 3
Adobe Premium Pro
Soraに対応しオブジェクトを削除・変更・付加できるようにする
Adobe Firefly: プロンプトだけでなくカスタムモデルが作れるようになった
Style 3D: 自動的にCADのデータが生成される(らしい)
LALALAND: AIモデルに服を着せられる
AI MODEL: AIモデル
Resleeve: ファッション画像生成AI
OutfitAnyone: 試着させられる
SoraでMVを作れるように👇
InstagramやYouTube、TikTokなども取り組んでいる
3. コンテンツ/プロダクトの民主化
コンテンツを作るだけではなくて、コンテンツなどを誰でも作れるようにする流れになっている。
Midjourneyは画像を作るツールだけではなく、作られた画像を公開してシェアするプラットフォームとしての側面もある
Suno: 音楽が作れるサービスで、トレンドなどが見えるプラットフォームの側面がある
どうやって作ったのかも見れる
OFF/SCRIPT: 生成AIで作られた物を売れる
AI Fashion Week: 新しいクリエイターが集まってそれを製品化している
4. クリエイティブ革命、最初の時代
「デザインが誰でもできる」時代が来てしまった
これまで2〜3年は学生として学んでいた
TOKYO AI Fashion Weekでは応募総数が1,900点以上来ており、ファッションデザイナーではなくエンジニアが応募していたりする
モノがないのでディスプレイに成果物を表示して陳列している
⑨「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
資料
1. なぜLayerXがLLMをやるのか?
変遷
「テクノロジードリブンな事業立ち上げ」のトライをそもそもやっており、R&Dチームがあった
ブロックチェーンからはじまり、現在AI・LLM事業をやっている
背景1: ブロックチェーンやプライバシーテック事業での気づき
ブロックチェーン時代の課題: 業務のデジタル化における非構造化データの課題と可能性
フォーマットが各社バラバラで標準化されていない
プライバシーテック時代の課題:マネタイズ可能なデータの発掘
構造化データの限界: プライバシーテックでは非構造化データは扱いづらかった
当時のお客さんが、今のAI・LLM事業部のお客さんになってくれている
背景2: バクラク事業の土台
過去の背景により、以下の知見があった
ユースケース面の知見
技術面の知見
背景3: 行動指針である”Bet Technology”
面白い技術には素直に飛びつき、事業化と投資拡大は冷静に分析→素人発想・玄人実行
2. LayerXのLLM事業の取り組みスタンス
知的単純作業
決算書や契約書などの書類を別の書類やシステムに転機したり確認する作業が多い
このドキュメントワークの多くは思考力・集中力が必要であり、専門性も重要となる
一方、正解が決まっているのでクリエイティブではない
→こういった業務がLLM導入に向いている
LLMによる非構造的なデータの構造化
従来のプログラムでは細かすぎて作り込みきれない文書処理に対応できる
LLMで文書の意味を汲み取りフォーマット差分を吸収する
知的単純作業におけるAI活用のメリット
業務時間の削減
ヒューマンエラーの削減
業務の標準化
知的単純作業自動化の社会的なインパクト
エンプラ業務の多くはニッチなものなので、システムに多額投資するかDXを諦めるかの2択になっていた
ユースケースの解決がロングテール的に扱える
3.文書処理業務を自動化するためのチューニング
技術的な観点: アルゴリズムの要素技術を検証する
ファイルの前処理・後処理
検索アルゴリズムの選定
LLMの処理の分割・統合
LLM以外のML/NLPとの組み合わせ
ドメイン知識的な観点: プロンプトなどでLLMに以下を教える
専門用語の説明
正解例・フォーマット
判断ルール
着目すべき箇所のヒント
チューニングによる精度改善のイメージ
LLMはそのままでは「次頭が良いだけの新入社員」であり、いきなり本番業務で活躍はできない
チューニングを効率化するLLM Opsの構築
文書処理にフォーカスしてチューニング作業をパターン化した社内基盤を構築
プロンプトに限らない様々なパラメータを改善
ノーコードでチューニング可能
設定ファイルを修正するだけ
精度評価を自動化
採点結果がレポートとして出力される
チューニングしやすいユースケース
Quicl Winを作りやすいところから始める
正解が明確
業務のやり方が明確
精度目標の定義の難しさ
精度の閾値を具体的に決めるのは難しい
「取りすぎ」「取りこぼし」の影響は異なる
取りすぎは人間がすぐ修正できるが、取りこぼしは結局人間が元文書を全部読むので大変
ABテスト的な評価方法
実際にユーザーにAIを使う/使わないパターンで業務を行ってもらう
エンジニアが直接ユーザーと対話してチューニングしよう
直接質問し仮説をぶつけよう
どんどん「お願いごと」をしよう
ユーザーの業務に深くダイブし、思考過程を想像しよう
その他
LayerXさんの取り組みは、事前に予告スライドがあったみたいです
⑩日本の画像生成AIのこれから
1. 画像生成における課題解決とマネタイズ
画像生成AIは、さまざまなドメインによってモデルや基盤、およびオーケストレーションが必要なのが大規模言語モデルとの違い
ファッション・漫画・アニメなど、それぞれ使われ方が大きく異なる(権利のあるなし等)
toCの生成AIの盛り上がりに、toBのプレイヤーとしても可能性を感じる
画像を作って遊ぶ人(アーリーアダプター)が使い始めて広がってきた
ワークフローやツールが整備されていった結果、ユースケースがtoBにも広がっていくと思う(広告とか)
専門職の人が持っていた”審美眼”が差別化ポイントになる
toCはマーケットがめちゃくちゃ大きいので、サブスクでのマネタイズを狙っている
2. 高精度なAIモデルの学習と評価
基盤を提供する側としては、データをどう持つかというのが重要になる
誰にも怒られないモラル的にも問題ないデータを集められるか
人間が成果物を見て評価するのが重要
アプリケーションを提供する側としてもデータセットが重要になってくる
クリーンで良いクオリティのデータをどう用意するかが大事
評価は内部的に、プロンプトを何回か実行してフィードバックをもらってモデルを決める
最初は機械学習的な評価をするが、最終的には人が見て評価している
1千万枚単位の画像をアノテーションするアルゴリズムも開発している
いかにエコシステムを作って、ユーザーにコントリビュートしてもらうインセンティブを作り出すかが大事
3. 安全なAI活用のための法整備と運用
著作権に違反する画像をそもそもデータセットにを含めない方法と、ルールベースで出力させない方法と2つやり方がある
これらをうまく組み合わせて問題に対処していく
国によって法律が変わってしまう問題があるので、モデルの作り直しまでやっていたりする
Clean Diffusionのように、データ元が安全であることを明記したりしている
レベニューシェアを取り入れるなど、クリエイターと目線を合わせる工夫をしている
最終的な画像だけを学習するのではなく、制作過程の画像を学習させる工夫もあり得る
⑪生成AI革命は日本をどう変えるか?
1. 生成AIによるビジネスインパクトの創出
波にうまく乗るのが大事
DeepLearningのときもPoCをやりまくって何も成果にならないパターンが多かった→ある程度見極めたら選択と集中も大事
ドメインをどう張るかがキモ: ニッチを攻めるか、トータルで攻めるか
生成AIは自然言語で試せてしまうのもあり、試したいことや選択肢が多すぎる
どこまで試すのか?試す勝ちがあるのか?という問いを持つのは重要
検証してる間に新しいモデルがでたりしてイチからやり直すと収集がつかない
どれくらい頑張れば良いのか…という視点も大事(撤退基準)
2. AI受託コンサル vs SaaS
AI受託コンサルをなぜやっているか
価値基準を変えるために、技術をわかっているチームがお客さんを支援するスタイルが良いと考えている
SaaSは営業力が大事なので、いきなりやるのは資金力が乏しいと難しいと思った
普通に受託コンサルをやるだけだと、ビジネスの視座が低くインパクトを出しづらい
しっかりお客さんに入り込んで、価値を出していくのが大事
3. 生成AIとイノベーションのジレンマ
最初の小さな成功を早い段階で見せることを意識する
小さな信頼を獲得して積み上げていく
ストーリーテリングは大事
どうやって壁を超えるのかを伝える
「自分は失敗しない」という信頼感、推進する人の人間性やそれに対する信頼は大事
イノベーションのジレンマでは価値基準が一番大切だが、DXの余地を考えると、プロセスまるごと変えるのが大切になる
価値基準を変えるのが大事だが、これを生成AIでいきなり変えるのは難しい
LLMは仕事のプロセスに密接に絡んでいる
生成AIとそれ以前のAIで変わった点
生成AIには普段の仕事のプロセスや仕方を丸ごと置き換える力がある
イノベーションのジレンマの乗り越え方が変わってくる
おわりに・私見
さまざまな領域や立場の方が話されていましたが、キーワードとして”共創”や”活用への挑戦”、”(モデルや出力の)評価”あたりが目立つように思いました。
”共創”について、モデルにしても活用するアプリケーションにしても、1人で何でも理解して作るにはLLMやそれを取り巻く環境があまりにも複雑すぎるという現状があります(わかる)。越境して色々な人と協力して作っていくのが、質の高い結果を得るために重要だというメッセージを複数のセッションで受け取りました。
”活用への挑戦”は、生成AIは再現性が高くコストも(出力に対して)低いので、とにかくどんどん試して色々なものを作るのが大事…というスタンスの方が多かったですね。生成AIやLLMに対する期待値がやたらと高いのが現状なので、まずは目に見える・形になるものを作って議論を進めるスタンスも重要ということでした。
”評価”については、技術・学術的な意味での評価以上に、「そもそもどういう結果が出てくることを期待しているのか?」という、ゴール設定や要求獲得・要件定義の文脈の話が多かったですね。
生成AIへの期待値が高いがために「AIでなんかいい感じにして」的なオーダーも多くなるので、いかに評価できる形にするか→設計・実行から評価までのフィードバックを高速に回すか…というのが大切になりそうと思いました。
というわけで、技術カンファレンスながらエモ太郎な話もたくさんあったために、少し感化された締めになりました!カンファレンスの楽しい場を準備頂いた運営・登壇者のの方々、誠にありがとうございました!
※懇親会チケットは取れなかったので参加できず…ゴメンナサイ