Large Language Model (LLM) & Generative AI Ecosystem Overview
Large Language Model (LLM) & Generative AI 領域を理解をするために、手の届く範囲で情報を整理したメモとなります。古い内容や誤った情報が含まれる可能性もありますのでご注意ください。(2023年6月公開)
1. Artificial Intelligence
Open AI が 2022年12月に Chat GPT を公開してからというもの、LLM、Generative AI、GPT… といったワードが巷に溢れるようになった。
Open AI が12月に公開した Chat GPTは、サービス開始からわずか2カ月後の2023年1月に、ユーザー数が1億人に到達した。史上最も急速に成長しているインターネット・サービスだという推定もある。
Chat GPTは、Open AI が開発した大規模言語モデル「GPT-3」の1バージョンである。Open AI は、複数のスキルを持つ汎用目的型AI (general-purpose AI) の開発を目指しており、大規模言語モデルはその目標に向けた重要なステップであると考えている。GPT は、当時の自然言語処理の最先端ベンチマークを打ち破り、大きな成果を上げた。
Artificial Intelligence(AI) を取り巻く用語は多岐にわたるが、State of AI による定義は以下のとおりである。
Artificial intelligence (AI): a broad discipline with the goal of creating intelligent machines, as opposed to the natural intelligence that is demonstrated by humans and animals.
Artificial general intelligence (AGI): a term used to describe future machines that could match and then exceed the full range of human cognitive ability across all economically valuable tasks.
Machine learning (ML): a subset of AI that often uses statistical techniques to give machines the ability to "learn" from data without being explicitly given the instructions for how to do so.
Deep learning (DL): an area of ML that attempts to mimic the activity in layers of neurons in the brain to learn how to recognize complex patterns in data. The “deep” refers to the large number of layers of neurons in contemporary models that help to learn rich representations of data to achieve better performance gains.
Model: once a ML algorithm has been trained on data, the output of the process is known as the model. This can then be used to make predictions.
(Large) Language model (LM, LLM): a model trained on textual data. The most common use case of a LM is text generation. The term “LLM” is used to designate multi-billion parameter LMs, but this is a moving definition.
一般社団法人日本ディープラーニング協会による AI の解説を抜粋すると下記のようになる。
・人工知能(AI)という言葉は、1956年にアメリカで開催されたダートマス会議で初めて使われ、人工知能が「推論・認識・判断など人間と同じ知的な処理能力を持つ機械」であるという意見は一致しているが、人工知能とは何か、という定義は専門家の間でも曖昧である。
・人工知能のプログラム自身が学習する仕組みが機械学習で、与えられたサンプルデータを元にコンピュータがデータに潜むパターンを解析する。データ数が多いほど望ましい学習結果が得られる。
・ウェブページの爆発的な増加は自然言語処理を利用した研究を加速させ、統計的自然言語処理と呼ばれる、複数の単語をひとまとまりに処理する技術を発展させた。
・ニューラルネットワークとは機械学習の一つで、人間の神経回路を真似することでプログラムが学習する仕組み。そのニューラルネットワークを多層にしたものがディープラーニング(深層学習)である。データ量の増加とハードウェアの処理能力の向上が深層学習の躍進を後押しすることになる。
・コンピュータには CPU と GPU の２つの演算処理装置があり、CPU は全般的な作業を処理する役割を担い、メールの送受信や音楽の再生といったタスクを順番に処理することに長けている。一方で、GPU (Graphics Processing Unit) は画像や映像などの処理に関する演算を担い、大規模な並列演算処理を得意とする。
AI と一言で表してもその範囲は多岐にわたり、この数ヶ月も非常に多くの政府・団体・企業がレポートや論文を通じて議論を繰り広げているのである。
この note では Large Language Model と Generative AI を中心に整理する。
LLM(Language Model)は、自然言語処理(NLP)の一種であり、大量のテキストデータを学習して、文法や意味のパターンを把握し、テキスト生成や質問応答などのタスクを実行することができるAIモデルです。
例えば、私(ChatGPT)はLLMの一種であり、与えられたテキストに基づいて返答を生成します。LLMはトークン(単語や文字のような意味の最小単位)レベルでテキストを解釈し、その文脈に基づいて応答を生成します。
Generative AI(生成型AI)は、AIが新しいデータや情報を生成することができるタイプのAIです。これは、与えられたデータのパターンや特徴を学習し、それに基づいて新たなデータを生成する能力を持っています。画像、音声、テキストなど、さまざまなタイプのデータを生成することができます。
2. LLM & Generative AI Overview
2-1. Large Language Model (LLM)
LLM は、人間と同じような方法でテキストを理解して生成する、トレーニングされた深層学習モデルです。
Large Language Model (LLM) は深層学習アルゴリズムである。大規模なデータセットから得られた知識に基づいて、テキストやその他の形式のコンテンツを認識、要約、翻訳、予測、生成することができる。
LLM の基本的な構造としては、大量のテキストデータを学習することで、次に来る確率が高い語を予測している。
大規模な言語モデルは通常、長期間にわたってインターネット上に書かれたほぼすべてを含めるのに十分な大きさのデータセットでトレーニングされます。言語を習得した人が文や段落で次に何が来るかを推測したり、新しい単語や概念を自分で思いついたりできるのと同じように、大規模な言語モデルはその知識を応用してコンテンツを予測し、生成することができます。
2020年5月にGPT-3(Generative Pre-Training-3)が登場して以降、言語モデルの大規模化が引き続き行われています。言語モデルの性能を表す一つの指標であるパラメータ数で見ると、GPT-3は1750億のパラメータを使用しています。これはGPT-2のパラメータが約15億に対して約117倍以上になります。
2019年に Open AI が GPT-2 を発表してから、大量のデータセットを事前に学習することによって、文章生成や質問応答などのタスクの実行など、目覚ましい進化を遂げているのがここ数年である。
2022年の GPT-3.5 では、数十人の人間によるフィードバックを用いた強化学習をすることで、結果をチューニングし、人間が好ましいと感じる出力結果を得られるようになった。理想的な回答と良い文章の採点データを用いて、点数が高くなるように調整している。
GPT 3.5 was trained on data that ultimately gave it the ability to consider 175 billion parameters depending on the prompt it receives. That gave it some impressive linguistic abilities, and let it respond to queries in a very humanlike fashion. However, GPT-4 is based on a lot more training data, and is ultimately able to consider over 1 trillion parameters when making its responses. GPT-4 was also trained through human and AI feedback for a further six months beyond that of GPT-3.5, so it has had many more corrections and suggestions on how it can improve.
2023年の GPT-4 ではテキストに加えて画像も学習できるようになり、人間とAIによるフィードバックを半年間提供したことで数学・経済・法律・コーディングなど幅広い分野で精度が大幅に向上している。
テキスト以外のデータ(画像など)を学習させたものをマルチモーダルと呼び、動画や音声など様々な形式のデータに対象が広がっている。
マルチモーダルとは、AIが同時に複数の形式を扱うことができる、ということを指します。モーダル（形式）の例としては、テキスト、画像、動画、3Dデータ、オーディオ、モーションなど多岐にわたります。
Microsoft の AI 研究者らは「Language Is Not All You Need: Aligning Perception with Language Models」の中で、人々が対話能力に感銘を受ける一方、LLMは依然として画像や音声でのプロンプトといったマルチモーダルな入力に苦戦していると述べている。
ChatGPTのような能力を汎用人工知能（AGI）のレベルに引き上げるには、マルチモーダル知覚、すなわち現実世界における知識獲得と、「グラウンディング」（現実世界での意味とコンピューター内部のシンボルの関連付け）が必要だと示唆している。
プロンプトエンジニアリングと呼ばれる、LM を効率的に使用するためのプロンプトを開発し最適化することを目的とした新しい学習分野や、プロンプトの実験を行えるプラットフォームなども誕生している。
LLM が登場してからは、言語モデルの「次に来る単語を予測する機能」をそのまま使用することで、学習が不要になりました。そのため、「プロンプト」と呼ばれる指示文を上手に与えることで、学習なしでも対話AIになることができるようになりました。
シンプルなプロンプトでも多くを達成できますが、結果の品質は提供する情報の量とそのクオリティによって異なります。プロンプトには、モデルに渡す指示や質問のような情報、文脈、入力、または例などの他の詳細を含めることができます。これらの要素を使用して、モデルをより適切に指示し、より良い結果を得ることができます。
2-2. Generative AI (生成AI)
生成AIとは、受け取った入力やプロンプト(ボットが応答を生成するための文章)に対して何らかの出力を返す、あるいは生成する機能を持つAIモデルの総称です。生成されるデータには、テキスト、コード、音声、画像、動画などが含まれます。
多くの有望で人気のある生成AIアプリケーションは、LLMを活用しています。中でもChatGPTは、最も広く知られた生成AIソリューションであり、ユーザーが質問を投げるチャットボットスタイルのプロンプトです。
入力された情報を元に何かしらのアウトプットを出力する AI モデルが Generative AI (生成AI)であり、先述の深層学習アルゴリズムである LLM を活用した Chat GPT もその枠組に含まれるということだ。
This technology is set to fundamentally transform everything from science, to business, to healthcare, for instance, to society itself. The positive impact on human creativity and productivity will be massive.
Generative AI will impact tasks, not occupations. Some of those tasks will be automated, some will be transformed through AI assistance, and some will be unaffected.
LLMによって機会がコンテキストを学習し、意図を推測できるようになり、Chat GPT などの User Interface の Innovation によって、生成AIは私たちの日常に急激に浸透し始めている。
Goldman Sachs のレポートでは、生成AIによって多くの業務が自動化および効率化され、GDPにも影響があると述べられている。現状、生成AIは誰しもが使いこなせる状況では無いが、今後多くの業務は生成AIによって補完されていくのだろう。
生成AIによる影響はあらゆる業界、業種に発生すると言われており、これからの時代を生きる全てのビジネスパーソンがキャッチアップすべき領域となるのは間違いない。
CEOs should consider exploration of generative AI a must, not a maybe. Generative AI can create value in a wide range of use cases. The economics and technical requirements to start are not prohibitive, while the downside of inaction could be quickly falling behind competitors.
Open AI と Chat GPT によって、Generative AI は急激にその認知度を高めたが、関連する研究は2010年代から継続的におこなわれており、2017年にGoogle が発表した論文「Attention Is All You Need」は今日の AI トレンドの基礎を築いているようだ。
3. Ecosystem
01. LLM & Generative AI Players
LLM & Generative AI のエコシステムを分類すると、1. 生成AIの学習と実行を支援するインフラの開発、2. LLM基盤モデルの開発、3. 学習データの提供やドメイン特化モデルの開発、4. 生成AIアプリケーションの開発、、などのプレイヤーに分けることができる。
多くの企業が恐るべき速度で LLM の改善と生態系の構築を模索しており、日夜新しいプレイヤーやオープンソースなどが誕生しているため全てを追っていくのは非常に困難であるが、一部を抜粋して紹介する。
02. Open AI (GPT)
OpenAI is an AI research and deployment company. Our mission is to ensure that artificial general intelligence benefits all of humanity.
Open AI は、人間よりも賢い汎用人工知能(AGI)を創出し、AGIを通じて世の中を豊かにし、世界経済を加速させ、新たな科学的知識の発見を助け、人類を向上させることを目的に、2015年に設立された非営利のAI研究機関だ。
AIの将来の進展に伴う倫理的な問題やリスクに対処し、人類全体の利益のためにAIの開発と展開を推進することを目指しており、強力なAIシステムの開発と配布を通じて、公正性、透明性、共有性を実現する。
自然言語処理モデルの GPT シリーズ、自然言語から画像を生成する DALL E、音声認識モデルの Whisper、Generative AI の名を轟かせた対話型人工知能の Chat GPT などを開発・提供し、ユーザーを拡大している。
また、AIの研究と開発に取り組むだけでなく、その成果物を広く共有することにも重点を置いており、AIの進歩を加速するために、研究論文やソフトウェアツールをオープンソースとして公開している。
親会社の非営利法人 Open AI Inc. は2015年にサン・アルトマン、イーロン・マスクらによって設立され、2018年にイーロン・マスクが離任している。その子会社である営利法人 Open AI LP は2019年に設立されマイクロソフトから10億米ドルの出資を受けている。
Chat GPT などのサービス提供を拡大しつつ、GPT の API 解放、Chat GPT 単体では回答が難しいバーティカル領域に特化した Plugin Platform の公開など、着実にそのエコシステム拡大に向けた打ち手を進行している。
03. Microsoft (Prometheus, Copilot)
Microsoft は 2019年に Open AI と提携して以来、Open AI の技術を使ったサービスの開発を続けており、2023年には Open AI LP の 49% の株式を取得した。Open AI の LLM を Azure Cloud Server 上で独占的に使用するという契約を締結しているのだ。
2023年3月には検索エンジン「Bing」へ検索用にカスタマイズした GPT-4 を搭載し、新しい検索ブラウザとしての体験の提供を試みている。また、GPT-4 に Bing のインデックスやランキング・検索結果などを組み合わせた Prometheus と呼ばれる独自の AI モデルを開発している。
また、検索以外にも Teams や Outlook、Word、Excel など様々なサービスを有する同社は、Open AI の技術を組み込んだ Microsoft 365 Copilot を発表しており、AI 領域への注力度合いが伺える。
加えて、Azure Cloud Platform で OpenAI の技術を利用できる Azure OpenAI Service を提供しており、開発者は Azure のインフラストラクチャを活用して、アプリケーションやサービスを構築することができる。
これにより、テキスト生成、質問応答、文章要約、翻訳、情感分析など、多くの NLP タスクを実現できる。
Local や Azure Storage に保管する text file、PDF、PowerPoint などを、GUI の操作で Chat AI に参照させられる機能「On Your Data」などは、多くのサービスや業務のあり方を変えるであろう。
更に、UI がチャットに変化する可能性を見越して、関連する Monetize Solution の提供も試みている。
一方で、Chat GPT など生成AIモデルの運用コストは非常に高く、Nvidia の GPU の代替手段としてより低コストな AIチップの開発にも取り組んでいる。
04. Alphabet (LaMDA, PaLM2, Bard)
GPT を活用して検索の体験や LLM エコシステムの確立を狙う Microsoft に対抗するように、Alphabet も大規模言語モデルの LaMDA を用いた生成 AI である Bard を発表している。
2023年5月の Google I/O では、LaMDA の次世代の大規模言語モデルである PaLM2 の公開、20以上の製品への積極的な AI 導入を促進するなど、自社のプロダクトの再構築に積極的に注力を進めているのだ。
Alphabet’s Google is rolling out more artificial intelligence for its core search product, hoping to create some of the same consumer excitement generated by Microsoft’s update to rival search engine Bing in recent months.
Google is integrating generative AI into search and other products, including Gmail, where it can create draft messages, and Google Photos, where it can make changes to images like centering figures and coloring in empty space.
また、GCP 上の機械学習PFである Vertex AI における Generative AI の支援、企業の Chatbot 開発や Enterprise Search などを支援する Generative AI App Builder、PaLM API の提供などを発表しており、Ecosystem における LLM 活用支援を強化している。
Open AI & Microsoft 連合と Alphabet の競争が激化することは容易に想像出来るが、その収益の大半を広告で占める Alphabet が、AI の導入と収益維持の両立、ビジネスモデルの変革をどのように進めていくかは、非常に興味深いテーマである。
05. Meta (LLaMA)
Microsoft や Alphabet と異なるアプローチを取っているのが Meta であり、研究者向けの大規模言語モデル「LLaMA」を 2023年2月に提供開始している。
LLaMA の利用は非営利目的に限られるが、その特徴として、1. 学習データが公開されている、2. オープンソースである、3. GPT などと比べてパラメータ数をおさえながら高精度を実現している… 点などが挙げられる。
トレーニングされた LLMモデルが研究者なら誰でも利用できるようになる試みは、クローズドな AI の開発環境に懸念を抱く多くの人々から歓迎され、スタンフォード大学がチューニングした Alpaca や、商業利用可能なモデルも誕生している。
Meta も長年にわたって AI 領域への投資は進めており、2023年5月には独自のAI用チップ(MTIA)を発表した。Meta が運用する深層学習モデルで推論のパフォーマンスを評価したところ、複雑度が低いモデルでは NVIDIA の GPU と比較して、消費電力当たり約3倍の性能を発揮している。
Cloud Service を保有する Alphabet や Microsoftとは違ったアプローチと、広告事業やチャット・SNSなど各種サービスへのAI技術導入に果たして芽が出るのか、これからの動向に着目である。
While Google, Microsoft and OpenAI have since received most of the attention in A.I., Meta has also invested in the technology for nearly a decade. The company has spent billions of dollars building the software and the hardware needed to realize chatbots and other “generative A.I.,” which produce text, images and other media on their own.
06. Technology Innovation Institute (Falcon 40B)
様々なプレイヤーがLLMモデルのオープン化に取り組んでおり、2023年5月にアラブ首長国連邦にある技術イノベーション研究所が発表したAIモデル「FalconLLM」がベンチマークで首位を記録した。
より速く、よりカスタマイズ可能で、価格当たりの性能が優れているオープンソースの LLM モデルが、エコシステムにおける勝者になるのではないかと、Alphabet の関係者も分析しているようだ。
07. Amazon (Titan, Bedrock)
GAFAM の一柱を担う Amazon も当然 Generative AI 市場には参入を示している。自社開発のモデルである Titan の発表や、AWS を通じて AI21 Labs, Anthropic, Stability AI などが提供するモデルを API 経由で利用可能にする、Amazon Bedrock の提供を開始した。
当然、Platformer として Generative AI への対応を進めるのと並行して、自社サービスへの AI 技術の適用も進めている。
08. Anthropic (Claude)
AWS からも利用可能な Claude を提供する Anthropic 社は、Open AI の元従業員によって2021年5月に設立されたスタートアップだ。
2023年2月には Google から3億ドルを調達しており、チャットインターフェースを保持する AI アシスタントである Claude の開発、API の提供などをおこなう。
Anthropic は法律文書の要約や分析、医療分野での応用、カスタマーサービス向けの電子メール・チャット、コーディング、コンテンツ生成、Q&Aやアドバイスのチャットボット、求人募集や面接分析の人事タスク、セラピー、コーチング、教育など、多様な産業に参入する計画を立てている。
その莫大な資金調達の金額もそうだが、設立から2年で米政府から会談に呼ばれるほどの急拡大を見せており、今後の動向に注目の一社である。
09. NVIDIA (NeMo LLM)
生成AIのブームは、その性能を最大限に発揮できる半導体開発競争に飛び火している。アメリカのファブレス半導体メーカーである NVIDIA はディープラーニングに必要不可欠な GPU の開発を手掛けている。
AI 技術に必要な GPU のニーズが高まり続けるなか、NVIDIA は GPU 市場の約80%を支配しており、AI 業界全体が盛り上がるにつれ同社の相対的な価値が向上し、時価総額は6月時点で米上場企業の5位となっている。
企業向けの GPU 開発に加えて、企業が独自の Generative AI モデルを構築・運用するための Cloud Platform である NVIDIA AI Foundations において、テキスト(NVIDIA NeMo)、画像・動画・3Dコンテンツ(NVIDIA Picasso)などを生成するサービスを提供する。
2023年5月に発表した、AI が Game 内の Non Player Character (NPC)に知性をもたらす NVIDIA Avatar Cloud Engine なども興味深い。メタバースなどの仮想空間と、AI技術が組み合わさることで、近い未来にエンタメやコミュニケーションのあり方が大きく変わるのではないだろうか。
10. Apple
Alphabet や Amazon など各社が LLM/Generative AI に関する Update を日々告知する中、Apple は AI という Technology に対してこれまでと大きく変わらないスタンスで振る舞っている。
Based on remarks from CEO Tim Cook, it seems like Apple may be taking a similar approach with generative AI. "I do think it's very important to be deliberate and thoughtful in how you approach these things," Cook said in response to a question related to generative AI on Apple's earnings call in May. "And there's a number of issues that need to be sorted… AI is being talked about in a number of different places. But the potential is certainly very interesting."
2023年6月の WWDC においても、Apple Vision Pro という新たなハードウェアと共に spatial computing の時代が到来した発表したものの、特段 Generative AI に言及することはなかった。
iPhone や Macbook などのハードウェア、iOS や Safari、Apple Store、Siri など、自社独自のエコシステムを構築する Apple が、今後どのようにこの領域に関与していくのかは注目である。
11. Players in Japan
当然、多くの日本企業も日本語に特化した LLM の開発や Generative AI サービスの提供を試みている。また、日本政府も相対的には前向きに AI という技術に関与する姿勢を見せているようだ。
⽇本にはさらなる強みもある。⽣成 AI はその利⽤において、どのような⼊⼒をするか創意⼯夫が必要 であり、⽇本⼈に向いているという意⾒もある。ひとりひとりが創造的で、お互いに切磋琢磨しながら、 きめこまやかなものを作り上げられる⽇本⼈は、その⼒を発揮して作り込んだ⽣成 AI サービスを、ユニ ークな国際的に競争⼒あるものとして⽣み出せる可能性がある。また、AI が⼈間に寄り添い、⼈間の暮 らしを豊かにする光景は、私たち国⺠の多くが共有している。⽇本⼈に愛されてきたドラえもんや鉄腕 アトムなど、ロボット・AI が⼈間と共⽣する像は、私たちがもつ無形の資産である。
Microsoft でAIチャットボットの研究を行っていたチームがスピンアウトして2020年に設立した rinna 社が提供する言語モデルや、LINE と NAVER が共同で開発した日本語に特化した基盤モデル「HyperCLOVA」なども存在している。
他にも、自社で言語モデルを開発し広告クリエイティブ領域で早くも導入を進めている Cyber Agent や、生成AI/LLM部門を新設し新機能の開発や業務効率化などに取り組む Mercari など、各社このパラダイムシフトに着実に投資をしている様子が見て取れる。
プライバシーや知的財産権の問題などもあるものの、Panasonic や損保ジャパンなどの大手企業も生成AIの導入を試みている。
4. Implement AI to your Business
LLM と Generative AI の概要を捉えることができたので、以下に、コンサルティング企業や Venture Capital などが提案するビジネスへの活用方法や、実際に活用している例を抜粋して紹介する。
4-1. Suggestions
4-2. Business Use Cases
01. Content & Entertainment
02. Productivity Improvement
03. AI Assistant
04. Education & Financial
05. Security & Risk Management
5. Safety & Responsibility
Generative AI の議論をするにあたって、避けては通れないのが倫理的な問題や、プライバシー保護、知的財産権などの領域である。
各国政府が独自のガイドラインを規定し、AI技術が倫理的な問題を起こさないための考え方、人に与える影響が大きく人間が制御不可能な領域(生命・人権)の規制、企業が生成AIを利用する際の主要リスク(情報漏洩、権利侵害、不確実性、差別など)の整理に取り組んでいる。
6. 終わりに
以上が、LLMと生成AIの概観を捉えるための整理である。メルカリ担当役員の石川さんと podcast で話したように、あまりにも情報量が多く、変化が激しすぎるために、あくまでも表層的な一部分の抜粋でしかない。
とはいえ、このパラダイムシフトを一人でも多くの方がキャッチアップし、新たなイノベーションが誕生することを願う。生成AIが世界を変えるのか、どのように便利な世の中になっていくのか、楽しみである。
LLM & 生成AI領域の技術やエコシステム、プレイヤーの動向等も合わせてまとめました✍️
— Sudo Sho (@Sudo_Sho) June 23, 2023
かなりの長文ですが興味ある方はぜひ！誤った内容があればご指摘ください🍁
Large Language Model (LLM) & Generative AI Overview (2023/06) | @Sudo_Sho #note https://t.co/kzze7I3EPL
7. その他参考文献
この記事が気に入ったらサポートをしてみませんか？