2023年個人的な振り返り(AIについて)

初めに

2023年はAIに大きな躍進があった年でした。この記事では、2023年に僕がどんなことを考えていたかを記録しておくために、この１年間を振り返り、AIの躍進について見て、調べ、考えたことをまとめます。個人的な記録としての意味合いが大きいことをご了承ください。２つの視点から、LLMについて記述し、最後に2024の抱負で記事の結びとします。

AIオタク(認知科学)視点

2022/12にChatGPTが公開され、それに触れたことで多くの観点から深く興味を触発された。その中でも特に情報の通信手段として自然言語を用いることについて考える中で、シンボルと対応する表象、そしてその解釈の動的な特性（メトニミー表現）などの観点から、言語の特性に強い興味を持った。この言語の特性について考えることは、人間の知能について考える時に大きな役割を果たす。

さらに深くLLMの切り口から知能について、調べているうちに認知科学というものが存在し、人工知能の発展と深く結びついていることを知った。また、人の言語発達が認知科学の概念である記号創発システムに関係するなど、先の言語に関する興味は認知科学の分野に内包されていることを知った。認知科学は人間の認知、知能について理解をすることを目的とした学問であり、特にこれを計算機的なモデルとして考えることで検証を行う。これを実現するために、認知科学は多くの分野が相互に影響を及ぼす学際的な学問であり、言語学、計算機科学、心理学、その他複数の分野（他の分野がどのような考え方で、どのように認知科学の一部を構成しているのかイメージがまだできていないためその他としている）など、多くの分野が相互に影響を及ぼしながら発展している。その中でもやはり僕がもっとも深く興味を惹かれ、専門とするべきなのは計算機科学の分野であるだろう。この切り口からどんどん認知科学を深ぼっていきたい。

また、認知科学から考える知能について深ぼった内容を、記事としてアウトプットしていきたい。これは、知能の本質について知ることが良いUXのLLMアプリケーションを作るために必要なことだと考えるからであり、アプリケーションデベロッパーに向けて記事を発信していく。

アプリケーションデベロッパー視点

ここでは2023年にアプリケーションデベロッパーの文脈でLLMについて考えていた事を総括します。内容の特性上、ここの項は主成分が妄想で構成されています。アレルギー反応が出る人は読まないことをお勧めします。

アプリケーションデベロッパー視点としてLLMを見ると、その汎用性が最も革新的な能力であり、今後アプリケーションのあり方が変わることは間違いのないことであろうと思う。具体的にはOSに組み込まれるであろう。これは、ソフトウェア開発の新たなレイヤーとして、基盤モデル層がインフラ層とアプリケーション層の間に挿入されると表現できるかもしれない。これにより、アプリケーションは高いレベルの汎用性、そしてエージェント性を獲得する。このエージェント性により、人間はコンピュータの存在を意識しなくなり、無意識下（必要な所は意識下）でアプリケーションが人の生活を下支えすることが可能になる。アプリケーションという表現をとっているが、この時代のアプリケーションは今想像するアプリケーションとは違う概念である。今のスマホを取り出し、それに向かって操作をしているような形でなく、もっと自然に人間生活に溶け込んだ形のアプリケーションになる。イメージしやすくするために、現状存在しているプロダクトの組み合わせてアプリケーションを表現すると、Apple Vision Proに対してsLLMを組み込みエッジ処理をしながら加工したデータを集中サーバ上のLLMに送信して分散処理をするような形だろう。これにより、たとえばユーザが財布を忘れて家を出た時に、コンピュータからそれを教えてもらうことができる。

以上で述べていることは、将来的に実現できるかもしれないことであり、実現のためには構造的な問題、モデルについての技術、性能の問題も存在し、ただの理想論であるかもしれない。そのためこれより下では、既に存在しているモデル（デベロッパーとしてはAPI）を活用して実現できるプロダクトについての考えを述べたい。より近い視点でのアプリケーション開発において、LLMの最も革新的な所を考えてみても、やはりそれは将来的な視点と同じで汎用性だろう(ここでは様々なタスクを行う能力、そして行うタスクを判断する能力と定義する)。この汎用性は、自然言語を理解(アプリケーションデベロッパーとしては理解していると考えて良いだろう)している事、そしてヒューマンマシンインターフェースとして自然言語を用いることができる事によって獲得できた。従来のNNでは特定のタスクを解くモデルを構築できたが、汎用性を獲得することはできなかった。そのため、実現できなかったアプリケーションは多くあっただろう。LLMの汎用性はこの壁を大きく飛び越えることを可能にする。例としては、人が全て把握することが不可能なレベルに膨れ上がった社内ドキュメント(マルチモーダル、様々な形式)を完璧に全て把握しているモデルの構築などがあるだろう。実際の実装では、Fine tuning やIn context learning(RAGなど)が考えられる。この分野は活発に研究がなされている分野であり、その研究動向はアプリケーションデベロッパーであっても追う必要があるだろう。

以上、LLMの活用について、将来的な視点と直近で実現可能な視点について述べた。ここで書いたようにLLMは人間に対して大きな良い影響を及ぼす一方、アライメントを誤れば人間にとって悪い影響を及ぼす可能性があるという議論は、アプリケーションデベロッパーは無視をするべきでない。ここも議論が活発な分野であり、これを１デベロッパーが追うのはすごく大変なことである。しかし、社会にこのAIを実装する者として、この視点を持たないことは許されない。ここでは、OpenAIによって公開されている論文を参考として貼る。
https://openai.com/research/practices-for-governing-agentic-ai-systems

2024年抱負

2023年の抱負は、「将来のプランについてより詳細に考えること」と「言語化能力を高めること」であった。

前者については、去年よりは具体的なプランとして考えることができた。今は２つの大きなプランをイメージしているが、個人的なことなのでここでの詳細な記述は控える。
もう１つの抱負は、言語化能力を高めることだが、これは友達や記事、個人的なメモなどでマシンガントークをすることで一定の能力向上があったと考えている。また、これは後から気づいたことだが、言語化能力を高めることで、自分の思考が洗練されていくのを感じた。もともと、自分の思考を外に出すための言語化能力の向上を目指していたため、この発見は大きな進展であったと考える。

これらの振り返りを踏まえた来年の抱負だが、２つの目標を定めたい。
１つは去年に引き続き言語化能力を高めること。これによって、ベースの思考能力向上とアウトプットによる、人との交流を深めていきたい。
２つ目として、資本主義社会で生きていくために求められる能力の自分の中での定義化と向上をしていきたい。これはかなりアバウトな目標であり、具体的な行動にすぐ移せるものではないが、だからこそ2024年の目標として適切であると考える。

２つの目標に共通する要素は「考える続けること」だろう。これも１つの資本主義で生きていく能力にもなるだろう。学生という、比較的時間に余裕のある今、たくさん考えどんどん成長していきたい。

2023年影響を受けた資料

・Xのポストたち
・本:大規模言語モデルは新たな知能か
・本:言語の本質
・本:心を知るための人工知能
・本:科学的思考のレッスン
・YouTube:AIcia Solid Project
・その他の本または論文