「AI Integration Lab」の設立に際しての抱負と展望
はじめに
2023年4月に株式会社ナレッジワークに入社した小路口です。ナレッジワークに入社すると同時に、ソフトウェアにおけるAI活用を通じた業務生産性向上への貢献をミッションとする「AI Integration Lab」の立ち上げに携わっています。
ナレッジワークに入社して間もない私ですが、過去の経験や入社の経緯、「AI Integration Lab」での抱負と展望をご紹介させて頂きつつ、少し変わった立場の人間の話しを聞いていただくことで、ナレッジワークの人種の分布を推測する材料にして頂ければと思っています。
これまでの研究経緯
私は30代半ばくらいまで非平衡系物理のポスドクをやり、その後電機メーカーの研究所、メガベンチャーに少し、AIスタートアップに数年という経歴です。前職は株式会社シナモンに在籍しており、多彩な海外のリサーチャー達のマネジャーとして有意義な経験をさせていただきました。堀田CEOから頂いた様々なインサイトには今でも大変感謝しています。
これまでの興味：非平衡系から言語モデル
現状のAI動向と私の接点をご説明するため、これまでの経緯をお話させてください。私がアカデミアで非平衡系物理分野に所属しているころ、べき的時間緩和の起源が問題になっていました。これは、これまで整備されてきた熱的平衡状態の物理では記述できない現象だったからです。このような現象は世の中で広く観測されるもので、実際、物質系の非平衡現象だけでなく生体系や交通渋滞、地震、金融クラッシュなど広い範囲で観測されています。私の近いコミュニティでは、この現象を力学系の解空間の不安定性の「まばらさ」で説明する（非線形が強い確率的な部分と、規則的な部分の間の領域で、べき的緩和が見られる）というアプローチがなされていました （私もその一部に属していました）。
実は、面白いことに言語も同様なべき的な相関を持ちます。様々な手法で確認されていますが、一例として、下図は文章に共起する単語列に現れる相関を特殊な方法で調べたものでべき則が現れることを示しています。非線形力学を言語的に取り扱う研究は古くからあり、力学のカオス的振る舞いを分類するために形式文法を適用するアプローチも提案されています。このような背景から言語モデルに興味を持っており、うっすら何か力学的描像により言語の認識や生成の改善ができないかと考えていました。
ExpertAI：エキスパートの能力をAIが取り込む
シナモンに移籍し、堀田CEOが将来的に人間の創造性をAIが支援するため、業務上のエキスパートスキルをAIがアシストするビジョンを打ち出しました。堀田さんの下、研究チームでそれを支える研究ビジョンの立案に取り組みました。 最初のフェーズでは強化学習によるモデルの改善の提案をしています。その中で、私は人間の創造性の重要な機能である演繹・帰納能力を機械が実現するアプローチを検討していました。
言語では、文章の主述関係や修飾関係、そして他の文章に繋がる指示語が階層構造を生み出しています。これが長い相関を生み、べき則の直接的な原因となっています。帰納や演繹能力は、この階層構造から抽象化した概念を取り出したり、抽象化した知識をアナロジカルに他の分野に適用して新しい発見を生み出すことができます。そこで、人間のステートメントの背後にあるこの階層構造を幾何学的に取り出す事ができれば、重要度の重みに応じて構造を粗視化して抽象化したり(下図真ん中)、要素の単語やフレーズを類似のものに置き換えて（下図右）アナロジーを生み出せないかと考えていました。このように、構造を幾何学的に把握し粗視化する手法がうまく機能したとすると、重要度に応じて文章レベルを丸める要約に使えたり、主張の首尾一貫性を評価したり、論理パターンから機械がアナロジカルなアイデアを提案したりする可能性があります。
例えば、要約や会議での決定事項や、製品等の不具合要因を、構造パターンとして捉えたり、または営業のハイパフォーマーの商談のストーリー展開を型化するために、トピック遷移よりも踏み込んだパターン化をできる可能性があります。ただし、これまでは、特定のドメインの文章の依存関係を評価するための学習データ作成（ラベリングのコスト、ラベルのミスやラベラー依存性）が困難であることから、モデルの意味把握の不安定さが課題となっていました。
最近のAI動向と展望
最近のAI動向
ここで、昨今のAI動向をどう捉えているかを共有したいと思います。ここ5年程の巨大言語モデル（LLM）の急激な進化は、言語、画像、音声の認識・生成において、単語ベクトルの内積による相関を多重に学習するアルゴリズムが有効であることが、大量データの学習と共に明らかになってきたという流れだと考えられます。
GPT-2では、この方式が記憶した内容を引用し補完する能力が非常に高いことが分かりましたが、一貫性には課題が残りました。しかしモデルの規模が拡大するたびに改善が確認され、小さいモデルでは存在しなかった能力が次々に予測不可能な形で観察されるなど創発的能力が確認されています。また、複雑な問題に対しては、規模拡大による一時的な精度低下があったものの、さらなる拡大でV字回復するようなケースも観測され、さらなるデータの量（と質）に応じた進化の期待は衰えていません。
更に、ここ数年でText-to-Textの流れからLLMの汎用性が上がり、現在LLMへの指示（プロンプト）を工夫することでAIの性能や可能性を広げる方向が大きく花開いていることは、周知の通りです。プロンプトによる外部データ入力手法により、これまでデッドロックになっていた高コストのデータのラベリング等のドメイン適応の課題が大幅に緩和され、AIの実用的な実装が確実に加速しています。
今後の方向性の展望
その中で、自然言語でないソフトプロンプトによる指示の最適化＝プロンプトチューニングの有効性が示されて、今後の研究はモデル自体より、モデルが規定する振る舞いを理解・制御する方向に面白さがシフトしているように思えます。私のバックグラウンドからすると、力学法則よりも力学生み出すダイナミクスを安定性解析で幾何学的に分析するような方向、つまり、モデルそのものでなくモデルによって格納された知識の構造（幾何学）を理解して制御するような研究が開けてくるような期待があります。そういう意味で、確率的な埋め込み表現やグラフ構造の埋め込み表現など知識の表現方法も重要になり、モデルによって構造化される知識を人間がハンドリングするために必要になると思われます。
ソフトプロンプトの可能性から予想できることは、機械は人間から渡される離散的な概念を、微分できる（最適化できる）連続空間の中で効率的に処理しているということです。このことから、機械は人間とは異なった概念把握をしていくだろうという点と、それが人間より効率的になり、人間と独立に概念を探索できる可能性があるという点が挙げられます。LLMが自らにとって効率的な隠れた言語を持っているという観測はその一端だと思います。ただし、人間と交信をする格子点のような離散ポイントでは人間との整合が必要です。学習の中で機械は人間の複合的な概念を格子点の間を滑らかにつなぐオブジェクトとして把握することができ、そのような連続性をもちいて機械は、FewShotでの人間意思の把握、思考の連鎖、高度な概念把握を可能にしつつあると考えています。
実際、機械のFewShotによるタスク把握能力や、人間に気づきを与えるような会話能力を観察すると、一般的な概念とそれらの複合物が学習により構造化されていて、個別の人間からの入力から、関連する概念引き出され、人間の意図への適応が実現していると考えられます。つまり、学習では、様々なデータから、一連の単語で構成される典型的な考え方が概念として文脈と共に構造化されることで、その構造をたよりに、機械は少ない手数で人間の意図を把握できるようになってると考えられます。そうだとすると、モデルの中の地図を把握して、正しく各地点を指し示すことができれば、より迅速に、より大きな文脈に立脚した意思疎通を機械と行う事ができるようになると思われます。また、前のパラグラフで述べたような可視化や構造把握のアプローチをもちいると、LLM内の概念の構造を利用することで、演繹やアナロジーにより新しい考え方／アイデアを生成したり、対話や文章の論理プロセスを追跡して分析できる可能性があります。
ナレッジワークとの出会いと印象
ナレッジワークの印象
数回の面接の中で私がナレッジワークに持った強い印象は、シンプルで直接的なアプローチを重視している点でした。分かりやすい価値提供に焦点を当て、システム的に要素を分解し、開発チームが直接的な解決策を提供するプロダクトを作成していると感じました。デザインや操作性に注力し、技術が自然にそれを実現することに専念している印象を受けました。入社後、これが本当に実現されていることがわかりました。CEOの麻野さんが常に高い熱量でビジョンを伝え、CTOの川中さんが効率的な開発プロセスを迅速に進めていることが理解できました。
ナレッジワークのビジョンと狙っている世界
最も心を動かされたのは、麻野さんのスピーチビデオで語られていた、「労働は苦役なり」という概念を覆す強い信念でした。「自転車に初めて乗れたとき」のような「できるようになる喜び」が人間をどれだけ動かすかを考え、仕事にもそれを感じられるようにしたいという確信に満ちた語り口に感銘を受けました。更に、そのためにドラえもんのように人間に寄り添ってサポートするプロダクトを提供したいと考えており、その実現はもうすぐのことだと信じています。私は、実現のために、まず、AIによる、ユーザーに対する多角的で深い理解が重要だと思いました。
CTO川中さんとの開発ビジョンの会話
川中さんは幅広い分野のエンジニア能力と豊富な学術的知識を持つ稀有な存在です。遠い分野の問題も高い理解力で捉えるため、自然に会話を進めることができました。川中さんから、「欲しい知識がすぐに手に入る」状態を目指すことが提示されました。そして、ユーザーに提供したい知識を、ユーザーの業務やタイミングに応じた情報とする場合、AIを活用して提供する上でどのような課題があるかを議論しました。
基本的に、ユーザーターゲティングとドメイン適応が大きな課題となります。多様なクライアント企業のユーザーにマッチした情報を提供するためには、特定のユーザー像やドメイン知識を特徴づける軸を整備し、問題に適応できるようにナレッジを構造化することが必要です。特に、ターゲットとしている営業活動の知識は多種多様でありデータ分析が整備されていない分野でもあるため、データドリブンなユーザーステータスの推定方法と柔軟性のある知識構造化手法を整備する必要があると思われます。しかし、上で議論したLLMの進化を考えると、一般的な概念だけでなく、ターゲティングと推薦に関係するユーザー像やビジネスドメイン像も深いレベルで構造化されるポテンシャルがあります。つまり、LLMを活用してユーザー像やドメイン知識を結びつけて把握させ（結びつけて取り出し）ハンドリングできるようにすることで、高度な概念をハンドリングできるのと同じように、今までよりコンテキストリッチなユーザー像、ドメイン知識をモデルに取り込めるようになる可能性が出てくると考えました。
入社の決意
これらの議論を通じて、ナレッジワークのプロダクトがAIを用いていなくても十分に評価される構想と品質を持っていることが分かりました。また、今後実現しようとしている課題の解決手法はリーズナブルで、実用性が高いだけでなく、個々のユーザーはどんな知識が必要なのか、個々のユーザーにとっての知識とは何か、という奥行きのある問題も含んでいます。そして何よりも、ナレッジワークが実現しようとしているミッション「できる喜びが巡る日々を届ける」に強く共感しました。これらの理由から、私は入社を決意しました。
ナレッジワークで実現したいこと
先述の通り、私はナレッジワークのミッションにワクワクし、開発者としてその実現の瞬間に立ち会いたいと考えています。ユーザーが喜びを感じるためには、ユーザーを詳細に理解することが重要です。業務上の任務、現在の能力や制限、習熟速度、習得が必要な内容や順序、好みなど、ユーザーの属性と状態を多角的に把握し、個別にカスタマイズされた方法で情報をプッシュ型で推薦し、行動を促すことが求められます。まずは個々の人間をデータから深く理解し、その理解に基づいて、さまざまなドメインの知識を可変な粒度でまとめたり、提供順番を変えたりして適切に提供すること、そのような技術の開発に取り組みたいと考えています。
具体的には、以下のような取り組みをナレッジワークで実現したいと考えています。
新設される「AI Integration Lab」でAI開発を加速する: より強力なAI技術を開発し、ナレッジワークのサービスに取り入れることで、ユーザーのニーズに応えられるよう努めます。
「Knowledge AI Chat」に続く推薦システム「Knowledge AI Recommend」のリリースによりKnowledge AIの高度化に貢献する: このシステムを通じて、ユーザーの疑問が解消されるなかで、プッシュ型提案で新たな気づきを得られ、学習や業務効率を向上させることができます。
LLMによる知識の構造化と概念の可視化技術を用いて、ユーザーの状態、嗜好、任務、特性を理解するモデルを構築し、ユーザー毎に適した知識をベストなタイミングで提供する技術を開発する: この技術によって、個々のユーザーに合わせた最適な情報提供が可能になり、ユーザーがより効果的に知識を習得し、業務を遂行できるようになります。
これらの取り組みを通じて、「できる喜びが巡る日々を届ける」というミッションの実現に向けて大きな一歩を踏み出すことに貢献します。
ユーザーの個々のニーズや状況に合わせて、最適な知識やサポートをユーザーの知らぬ間に提供することで、「既に必要なものがある」状態を実現し、最適なタイミングで成長を促す提案をユーザーに寄り添って提供します。これにより、仕事の効率化や学びの質を向上し、「できる喜びが巡る日々」が実現され、より豊かで充実した人生を送ることができる世界の実現を目指します。
まずは話を聞いてみたいという方も大歓迎ですので、その場合は下記カジュアル面談フォームよりご応募ください！