人間と同じ条件にすれば生成AIはもっと活躍する

現状の生成AIで企業は変革するというお話をします。

汎用人工知能の登場

OpenAIのSam AltmanはGPT-7が登場する頃にはユニバーサルベーシックコンピュートとしてお金より重要な計算資源の分配が必要と言っています。GPT-7というと推定は2026年か2027年です。
最近も25歳のAI研究者の「学習をするたびにAIは賢くなっている。自分が働くのもあと3年かもしれない」というブログが話題になりました([palladium]) 。
しかし、いつ来るか誰にもわからない汎用人工知能の登場を予想する必要はあまりないと思います。

生成AIを活用する上での問題

生成AIの能力は十分

OpenAIのCTOは今の生成AIは優秀な高校生レベルと言っています。これが高校生レベルなら驚きです。会社の仕事は特定の仕事で一定以上の品質があれば十分です。
GPT-4oは512MBのファイルをアップロードして読み込み解析して質問に答えることができます。GPTsなら512MBを20個アップロードできます。誰もこの量の文書を読んで初見で質問に答えることはできないでしょう。

何故使えないのか

一方で多くの企業は生成AIを自社データに適用した結果に満足していません。何もしないで自社データをRAGなどを使ってAIボット化したときの正解率は50%、いろいろ工夫して80%がそこそこの結果です。
これには次の2つの理由があります。

• ドキュメントが生成AI向きに作られていない

• 生成AIを導くメンターがいない

ドキュメントが生成AI向きに作られていない

会社のドキュメントというのはだいたい管轄部署毎に作られています。だれか編集責任を持つ人がいて、それ対応に文書は分割されています。また編集の都合上、編集の頻度によって別々の文書になることもあります。
これが生成AIと相性が悪いです。
必要な定義や事例が他の文書を引用されているとそれをたどっていると精度が落ちます。
人間でも同じですが、人間は一度に読んだりしません。経験を経て、ゆっくりと必要な知識をまとめ小さな知識の連携として記憶しています。
この部分を同じプロセスを経て、自分にとって使いやすい形に変更しないと人間並みの精度は出ません。この特化した知識を引き出しやすい形に変換するプロセスがまだ発展途上です。
ソフトウェア開発の自動エージェントでもそもそも正しいファイルにたどりつかないのが20%くらいあります。生成AIがうまく動作しないとどんどんより多くの情報をあたえて精度を上げようとします。たいていの場合、似たような別の情報を与えるのは精度には逆効果です。
正しく関連した情報を選ぶ機能と選ばれた情報で適切に推論する機能は関連はしていますが別の機能です。
膨大な情報の中から正しい情報を選ぶ技術はまだ発展途上です。

生成AIを導くメンターがいない

生成AIと人間は違うリズムで生きています。
人間だって間違いますが、同じリズムで生きている人間と話し、間違いがあれば訂正し、同じ時間スケールでやりとりしながら精度をあげています。
生成AIは別です。1分で答えを出しますが、人間はそれを何十分もかけて検証し、それから「ここ間違っている」とか言います。
生成AIと同じ時間スケールで出力を確認し、フィードバックする生成AIがあれば人間と同じ条件になります。
これはエージェントという技術で、生成AIの精度をあげるのとは別の技術です。エージェントは別に大規模言語モデルとは独立に開発できる技術です。
まだ企業社会には浸透していませんが、開発と普及が待たれます。

むすび

生成AIの精度向上の前に現実的な企業利用にはまだハードルが多くあります。画期的な大規模言語モデルの登場を待たなくても解決できる問題もあり、解決への技術開発も進んでいます。
人間と同じ条件にしてやれば生成AIの能力はもっと花開きます。
これらの観点から企業での生成AI活用が加速するのは遠くないと思います。

参考文献

• [aigrid] s UBI DEAD? This AI CEO Thinks So...https://www.youtube.com/watch?v=LH_MP8ZSEb0 14m43s 2024年 TheAIGRID

• [palladium] Last Five Years of Work
  https://www.palladiummag.com/2024/05/17/my-last-five-years-of-work/　2024年