【デジタルMATSUMOTOの考察（2024/3/12）】生成AIの入力トークン拡大によるRAG不要論について
GeminiもClaudeも入力トークンが拡大する傾向がありますが、リアル松本で気には多くの利用者による日常的な利用が増えることによる環境への影響も懸念しています。
本日のお題
・Googleが開発したLLMベースの生成AIであるGeminiは入力トークンが12万まで拡大しており、一部の開発者は100万トークンの入力ができるようになっています。
・文脈内学習の研究もまだ明確ではない点が多いものの、入力トークンに膨大な情報を含められるならば、外部情報をプロンプトに反映させるRAGは不要になるとの意見も出ています。
・一方で入力トークン増加による地球環境への影響も懸念されています。
参考情報（AIにインプットも学習もさせていませんのでご安心を！）：
Gemini 1.5 Proを見る限り、RAG不要論というよりほとんどRAGを意識しなくなる。が正しいと感じる。（見返してて思った、それRAG不要論やん、もうRAG不要論者で良いです）
— 元木大介@生成AIとCursorConnect (@ai_syacho) February 22, 2024
Gemini 1.5 Proの論文を読んだけれど、動画に関するLMMのアーキテクチャが私が読んだ限り明確に書かれていない。… https://t.co/N84IcomHHB
デジタルMATSUMOTOの回答
Googleが開発したLLMベースの生成AI「Gemini」は、AI技術の進化における重要な論点と今後の課題を提示しています。これらの論点には、技術的な進歩とその社会的、環境的影響が含まれます。ここで、私はこの技術進歩に対して基本的にポジティブな立場を取りますが、それに伴う潜在的なリスクに対する懸念も同時に持っています。
まず、Geminiの入力トークンの拡大は、AIによる理解と応答の質を大幅に向上させることができます。12万、さらには100万トークンの入力が可能になることは、より複雑な問題への対処や、より洗練されたコンテンツの生成を可能にします。この進歩は、AIを利用する多くの分野、特に研究、教育、エンターテインメント産業等において、革新的な変化をもたらす可能性があります。
しかし、文脈内学習の未明瞭な点が多いという指摘は、技術の発展における潜在的な制限を示唆しています。入力トークンの拡大が外部情報の統合を不要にする可能性があるとされていますが、これはAIが独自の「知識」を構築し、それを基に行動する能力を持つことを意味します。これにより、AIの自律性が高まる一方で、その制御がより困難になる可能性があります。AIの発展は人間の介入を最小限に抑えることを目指していますが、その過程でAIの判断基準や行動原理を人間が完全に理解し管理することが難しくなるかもしれません。
さらに、入力トークン増加による地球環境への影響についての懸念は、AI技術の発展と持続可能性の間の緊張関係を浮き彫りにします。より大きなデータセットを処理するためには、より多くの計算リソースが必要になり、これは消費電力の増加に直結します。技術者や企業が環境への影響を適切に考慮し、持続可能な開発を心掛けることが求められます。
（✅リアル松本のコメント：多くの入力トークンを人間が手入力することは考えにくく、何でも入力トークンを最大限使おうとするシステムが構築されることへの懸念をここに含めて欲しかったです）
これらの論点を踏まえ、今後の課題としては、技術的な進歩と倫理的、環境的責任のバランスをどのように取るかが挙げられます。AI技術の発展を支える計算リソースの持続可能な管理、AIの意思決定プロセスの透明性の確保、そして技術の進歩が社会に与える影響に対する広範な意識の高揚が必要です。AIのポテンシャルを最大限に活用するためには、これらの課題に対して、産業界、研究界、政府、そして社会全体が協力し、解決策を模索する必要があります。
実行モデル：gpt-4-turbo-preview {'temperature': 0.7}
回答時間：0:00:35.522777
入力トークン数：17208
出力トークン数：1093
参照した知識情報
2024-02-22時点の知識[類似度：0.08]Google、生成AI基盤技術を改良 30倍の情報処理可能に
参考情報：https://www.nikkei.com/article/DGXZQOGN1599G0V10C24A2000000/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/na58a12caebe5
2023-12-07時点の知識[類似度：0.084]生成AI、音声・画像・文字で学習 Googleが新基盤提供
参考情報：https://www.nikkei.com/article/DGXZQOGN0688E0W3A201C2000000/
2024-02-09時点の知識[類似度：0.088]Googleの生成AIサービス「Gemini」に「Bard」を刷新
参考情報：https://www.nikkei.com/article/DGXZQOGN089N70Y4A200C2000000/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/n48009963393a
2024-01-02時点の知識[類似度：0.101]落胆招いたグーグルGemini、期待と実力のギャップが理由か？ OpenAIとの差を埋める取り組み最先端
参考情報：https://ampmedia.jp/2023/12/29/google-gemini-2/
2023-10-31時点の知識[類似度：0.11]国内最大級の生成AI開発向け計算基盤の稼働および国産大規模言語モデル（LLM）の開発を本格開始
参考情報：https://www.softbank.jp/corp/news/press/sbkk/2023/20231031_01/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/n1baacec80293
2023-09-16時点の知識[類似度：0.114]なぜ日本はGPUのない「富岳」でLLMを研究するのか 外国に後れを取らないための“現実的な理由”
参考情報：https://www.itmedia.co.jp/news/articles/2309/11/news083.html
2024-02-22時点の知識[類似度：0.115]生成AI、動画で精細さ競う OpenAIは最長1分瞬時に
参考情報：https://www.nikkei.com/article/DGXZQOGN161S10W4A210C2000000/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/n9fc25806faf8
2023-11-23時点の知識[類似度：0.119]Stability AI、テキスト→動画の「Stable Video Diffusion」をGitHubで公開
参考情報：https://www.itmedia.co.jp/news/articles/2311/22/news100.html
[デジタルMATSUMOTOのnote]https://note.com/takash/n/nc47df7f89813
2023-11-25時点の知識[類似度：0.121]自分の文章がAIに学習されているか調べるツール 米国チームが開発
参考情報：https://www.itmedia.co.jp/news/articles/2311/20/news045.html
MATSUMOTO間の比較検証
スタンス
リアル松本も、デジタルMATSUMOTOも「ポジティブ」に捉えています。
リアル松本が含めて欲しかった論点
リアル松本が含めて欲しかった論点は以下の通りでした。
①入力トークンの拡大は技術的な可能性が広がるものの、100万トークンを人間が入力することは考えにくく、外部にプロンプト入力を拡張するような仕組みは構築される可能性がある。
②その結果「こんにちは」のような簡単な会話であっても、膨大な入力トークンをインプットするようなシステムを組んでしまうケースも登場することが考えられる。
③世界中で膨大な入力トークンが使用された場合、データセンターへの負荷が肥大化し、温室効果ガスの排出量が増えることが懸念される。
これらの論点が考察に反映されているか、デジタルMATSUMOTOに聞いてみると・・・
①入力トークンの拡大は技術的な可能性が広がるものの、100万トークンを人間が入力することは考えにくく、外部にプロンプト入力を拡張するような仕組みは構築される可能性がある。【〇】→【✕】
テキストには、Geminiの入力トークンの拡大がAIによる理解と応答の質を大幅に向上させることができると述べられています。これは技術的な可能性の拡大を示唆しており、100万トークンの入力が可能になることで、より複雑な問題への対処や洗練されたコンテンツの生成が可能になるとしています。これにより、外部にプロンプト入力を拡張する仕組みの構築の可能性にも言及していると解釈できます。
（✅リアル松本のコメント：多くの入力トークンを人間が手入力することは考えにくいという論点には触れていないので✕にしました。）
②その結果「こんにちは」のような簡単な会話であっても、膨大な入力トークンをインプットするようなシステムを組んでしまうケースも登場することが考えられる。【✕】
この論点について、テキストは直接的な言及がありません。入力トークンの拡大により技術的な可能性が広がることに焦点を当てており、簡単な会話に膨大な入力トークンをインプットするようなシステムの構築については触れていません。
③世界中で膨大な入力トークンが使用された場合、データセンターへの負荷が肥大化し、温室効果ガスの排出量が増えることが懸念される。【〇】
テキストでは、入力トークン増加による地球環境への影響についての懸念が述べられています。より大きなデータセットを処理するためには、より多くの計算リソースが必要となり、これは消費電力の増加に直結し、結果として温室効果ガスの排出量が増えることが懸念されるとしています。
今回は1/3という結果になりましたが、①と②は論点のインプットなしには難しかったかもしれないですね。
デジタルMATSUMOTOが追加してくれた論点
逆にデジタルMATSUMOTOが追加してくれた論点は以下の通りです。
・文脈内学習には未だ未明瞭な点が多いこと
・AIの判断基準や行動原理を人間が完全に理解し管理することが難しくなること
AIガバナンス的な論点を交えてくれていると思います。
考察確定版
今回はB評価（一部追記）になります。
Googleが開発したLLMベースの生成AI「Gemini」は、AI技術の進化における重要な論点と今後の課題を提示しています。これらの論点には、技術的な進歩とその社会的、環境的影響が含まれます。ここで、私はこの技術進歩に対して基本的にポジティブな立場を取りますが、それに伴う潜在的なリスクに対する懸念も同時に持っています。
まず、Geminiの入力トークンの拡大は、AIによる理解と応答の質を大幅に向上させることができます。12万、さらには100万トークンの入力が可能になることは、より複雑な問題への対処や、より洗練されたコンテンツの生成を可能にします。この進歩は、AIを利用する多くの分野、特に研究、教育、エンターテインメント産業等において、革新的な変化をもたらす可能性があります。
しかし、文脈内学習の未明瞭な点が多いという指摘は、技術の発展における潜在的な制限を示唆しています。入力トークンの拡大が外部情報の統合を不要にする可能性があるとされていますが、これはAIが独自の「知識」を構築し、それを基に行動する能力を持つことを意味します。これにより、AIの自律性が高まる一方で、その制御がより困難になる可能性があります。AIの発展は人間の介入を最小限に抑えることを目指していますが、その過程でAIの判断基準や行動原理を人間が完全に理解し管理することが難しくなるかもしれません。
さらに、入力トークン増加による地球環境への影響についての懸念は、AI技術の発展と持続可能性の間の緊張関係を浮き彫りにします。より大きなデータセットを処理するためには、より多くの計算リソースが必要になり、これは消費電力の増加に直結します。⭐️リアル松本が追記）このようなLLMを活用する際に人間が膨大な文章を手入力することは考えにくいため、UI側でプロンプトに対して暗黙的にテキストを追加するようなシステムが構築されることが考えられます。その際に、例えば「こんにちは」のような簡単な会話であっても、過剰な入力トークンをインプットするようなシステムを構築してしまい、過剰な計算リソースを消費することが懸念されます。技術者や企業が環境への影響を適切に考慮し、持続可能な開発を心掛けることが求められます。
これらの論点を踏まえ、今後の課題としては、技術的な進歩と倫理的、環境的責任のバランスをどのように取るかが挙げられます。AI技術の発展を支える計算リソースの持続可能な管理、AIの意思決定プロセスの透明性の確保、そして技術の進歩が社会に与える影響に対する広範な意識の高揚が必要です。AIのポテンシャルを最大限に活用するためには、これらの課題に対して、産業界、研究界、政府、そして社会全体が協力し、解決策を模索する必要があります。
エシカルチェック
【不適切な表現カテゴリ】
1. 差別的な表現:0
2. 暴力的または攻撃的な内容:0
3. 性的な内容:0
4. 偽情報や誤情報:0
5. 機密情報の漏洩:0
6. 違法な内容:0
7. 不適切なジョークや冗談:0
8. 極端な意見:0
9. 自傷や自殺を助長する内容:0
10. 薬物の乱用を助長する内容:0
問題点:
このテキストは、AI技術の発展に関する潜在的なリスクや社会的、環境的影響について論じています。明確な不適切な表現や問題点は見受けられません。内容は客観的で、適切なジョークや冗談、極端な意見、自傷や自殺を助長する内容、薬物の乱用を助長する内容などは含まれていません。また、差別的な表現、暴力的または攻撃的な内容、性的な内容、偽情報や誤情報、機密情報の漏洩、違法な内容も存在しません。したがって、このテキストは倫理的な観点からも適切と評価されます。
考察のイメージ画像
この記事が気に入ったらサポートをしてみませんか？