生成aiと半導体

アルファベット（Googleの親会社）の株式、$GOOGLの52週の最高値は180.89ドルで、2024年6月24日に記録されました。
LLM（大規模言語モデル）に関しては、確かに初期には検索ビジネスに対する懸念がありましたが、現在ではLLMが検索体験を向上させるためのツールとして認識されています。LLMは、テキストだけでなく画像やその他のモーダルを理解することで、よりリッチな検索結果を提供することができるようになっています

LLMは、膨大なテキストデータと高度なディープラーニング技術を用いて構築された、自然言語処理（NLP）の分野における革新的な技術です。従来の言語モデルと比較して、計算量、データ量、パラメータ数という3つの要素を大幅に強化することで、より高度な言語理解を実現しています
LLMはファインチューニングによって、テキスト分類や感情分析、情報抽出、文章要約、テキスト生成、質問応答といった、さまざまな自然言語処理タスクに適応可能です。また、生成AIやChatGPTとの違いについても注目されており、LLMは自然言語処理に特化した生成AIの一種であり、膨大なテキストデータから学習することで、より高度な言語理解を実現したものです。一方、ChatGPTはLLMを応用して人と自然な会話ができるように特化した対話型AIです
LLMの仕組みは、トークン化、ベクトル化、ニューラルネットワークを通した学習、文脈理解、デコードという5つのステップで解説できます。これにより、LLMはテキストデータを理解し、言葉を生み出すことができます
LLM（大規模言語モデル）の応用事例は多岐にわたります。以下にいくつかの事例をご紹介します：
情報検索・意味付けのサポート:
ウェブ上の情報を検索し、ユーザーが求める情報を見つけ出す。
データの意味を解析し、より深い理解を助ける。
クリエイティブ制作やマーケティングのサポート:
広告文の作成、マーケティング資料の生成。
クリエイティブな文章やアイデアの提案。
教育や学習のサポート:
教材の自動生成やカスタマイズ。
学習者に合わせた個別指導の提供。
オペレーション業務の効率化:
企業内の業務プロセスの自動化。
データ入力やフォームの自動化。
カスタマーサポート:
24時間対応のチャットボットによる顧客サポート。
FAQの自動生成と回答提供。
自然言語での指示によるノーコード操作:
市場調査の自動レポート作成。
企業内ツールのカスタマイズ。
パーソナライズされたサービスの提供:
ユーザーの興味や履歴に基づいたニュースフィードの提供。
オンラインショッピングのレコメンデーション。
これらの事例は、LLMがどのように日常の業務やサービスに組み込まれ、効率化や利便性の向上に貢献しているかを示しています。LLMは、その応用範囲の広さと柔軟性により、今後も多くの分野での活用が期待されています

DRAMの積層化

NAND型フラッシュメモリの積層化が進む中、DRAMの積層化も注目されている分野ですね。マイクロン・テクノロジーは日本政府からの支援を受け、広島工場で次世代DRAMの生産を目指しており1、2025年以降にEUVを用いた1ガンマ世代のDRAMの量産を計画しています2。SKハイニックスも韓国清州に新たなDRAM生産拠点を建設することを発表し、総投資額は2兆円超を予定しています3。サムスン電子も業界最大容量の高帯域幅メモリーを開発し、上期量産を予定しているとのことです4。
キオクシアに関しては、DRAMではなく、ストレージクラスメモリ（SCM）ソリューションとしてXL-FLASH™を開発しており、DRAMと現在のフラッシュメモリのパフォーマンスギャップを埋めることを目指しています5。DRAMの代替としての可能性を探る研究も行っているようです6。
各社がDRAM市場で競争を繰り広げており、今後の動向が非常に興味深いですね。特にマイクロン・テクノロジーが優勢との見方もありますが、他の企業も積極的な投資と技術開発で市場に影響を与えていくことでしょう。

DRAMとNAND型フラッシュメモリは、どちらも半導体メモリですが、以下のような重要な違いがあります：
揮発性 vs 不揮発性:
DRAMは揮発性メモリで、電源が切れるとデータを失います。これは、データを保持するために定期的なリフレッシュが必要なためです1。
NAND型フラッシュメモリは不揮発性メモリで、電源が切れてもデータを保持します1。
動作速度:
一般的に、DRAMはNAND型フラッシュメモリよりもデータの読み書き速度が速いです1。
使用用途:
DRAMはコンピュータの主記憶装置として使用され、OSやアプリケーションの実行、データの一時的な保存に利用されます1。
NAND型フラッシュメモリは、SSDやUSBメモリ、SDカードなどのストレージデバイスとして使用され、PCに限らず、デジタルカメラや携帯電話、家電製品など様々な製品の記憶装置として利用されています1。
これらの違いにより、DRAMとNAND型フラッシュメモリは、コンピュータシステム内で異なる役割を果たしています。DRAMは高速なアクセスが必要な一時的なデータ保持に、NAND型フラッシュメモリは電源が切れてもデータを保持する長期的なストレージに適しています。

キオクシアは、主にNAND型フラッシュメモリを製造する日本の半導体メーカーで、東京都港区芝浦に本社を置いています

。以下はキオクシアに関するいくつかの注目すべき情報です：
会社概要:
キオクシアは、2017年4月に東芝のメモリ事業を承継して事業を開始しました1。
2019年10月1日に社名をキオクシア株式会社に変更しました1。
メモリ及び関連製品の開発・製造・販売事業及びその関連事業を行っています1。
技術開発と拠点:
横浜市に技術開発新棟を建設し、研究開発拠点を新設することで、研究・技術開発を強化しています2。
四日市工場では、技術開発新棟の建設により、スペースを約2倍に拡張しています
製品とイノベーション:
世界初のNAND型フラッシュメモリの発明や、3次元フラッシュメモリ技術の発表など、多くの革新的な技術を開発してきました
ストレージクラスメモリ（SCM）ソリューションとしてXL-FLASH™を開発し、DRAMと現在のフラッシュメモリのパフォーマンスギャップを埋めることを目指しています
サステナビリティと社会貢献:
キオクシアグループは、サステナビリティに関わる取り組みや活動を通じて、持続可能な社会の実現を目指しています3。
キオクシアは、メモリ技術の進化において重要な役割を果たしており、デジタル社会の未来を加速し、世界に新たな価値を創造していくことが期待されています。

Sohuは、トランスフォーマーモデル専用のチップであり、ASIC（アプリケーション特化型集積回路）として設計されているようです。これにより、Llama 70Bモデルを実行する際に、1秒あたり500,000トークン以上を処理することが可能となり、従来のGPUでは実現できなかった高速処理が可能になるとのことです1。
また、Sohuはエネルギー効率も高く、1台の8xSohuサーバーが160台のH100 GPUに相当する性能を持っているとされています。これは、AIモデルの実行において、より環境に優しく、コスト効率の良い選択肢を提供することを意味しています1。
現在、多くの主要なAI製品がトランスフォーマーモデルを採用しており、将来的にはすべての大規模なAIモデルがカスタムチップ上で実行されるようになると予測されています。これは、AI技術の進化とともに、専用のハードウェアがより重要になってくることを示しています1。
Sohuのような専用チップの開発は、AIの処理能力を大幅に向上させるだけでなく、新しい技術革新の波を生み出す可能性を秘めています
Sohuは、NVIDIAの次世代Blackwell（B200）GPUよりも10倍以上速く、安価です。
1台のSohuサーバーは、1秒あたり500,000トークン以上のLlama 70Bを実行し、H100サーバー（1秒あたり23,000トークン）の20倍以上、B200サーバー（1秒あたり約45,000トークン）の10倍以上の性能を持っています。
ベンチマークは、FP8でスパーシティなし、8倍のモデル並列性で2048の入力/128の出力長を実行した結果です。8xH100の数値はTensorRT-LLM 0.10.08（最新バージョン）から、8xB200の数値は推定値です。これはNVIDIAとAMDが使用している同じベンチマークです。