見出し画像

Re:Invent - 速報（CEO - Adam Selipsky キーノート）@ ラスベガス

鈴木いっぺい (Ippei Suzuki)

Re:Invent - 速報
（CEO - Adam Selipsky キーノート）
2023／11／28（火）8：00AM〜11：00AM　＠　Las Vegas


朝の8時からのCEO、Adam Selipsky氏のプレゼンはほぼ全編、AIについての話に終始。
特にBedrockを中心とした体系の発表と関係するサービスの紹介にほぼ全ての時間が費やされ、AWSがマイクロソフトの昨今のOpenAIとの動きにいかに敏感で、競合相手として見ているか、が非常によくわかります。

キーポイント：

  • マイクロソフト＋OpenAI に関する対抗意識はかなり強い。GPT-3.5//4に関する話題は一切ないし、単語も一回も発言してない。

  • 逆に今後は投資したAnthropic社のClaudeとの連携はかなり強くなる模様（自社のTitanとの競合もあるがいずれば統合する可能性もあるのかも）

  • 機能によってはOSSの市場にまだ追いついていない領域もある（RAG系は少し遅れてるかも）

  • Amazon Qは、主体はAWSの純正のサービスを統合する機能だけど、AWS街のサービスもサポートしてるが部分的（Slack, Jiraなど）。この辺もかなりMS Office 365とOpenAIの統合を意識していると想定。Googleが全面的に協力するとは思いにくい。


最初の発表は、Salesforce社のEinsteinプラットホームがBedrock上でサポートされる、という内容。

世界中のユニコーン企業の80%以上がAWSを利用している、とのこと。

AWSのインフラストラクチャリージョンは現在32の既存リージョンにまたがり、今後さらに拡大する計画で、次に大きいクラウド（Azureの事）の3倍の数のデータセンターを持ってる。

AWSの生成AIへの取り組み

AWSの生成AIへの戦略は、3つのレイヤーを持つ、という点。

  1. ファウンデーションモデルをトレーニングし、運用するためのインフラ

  2. 日常の業務に使う、アプリケーションレイヤ

  3. 生成AIアプリを開発するためのツール類


1つ目のレイヤ：ファウンデーションモデルをトレーニングし、運用するためのインフラ

Nvidiaとの協業

AWSがNvidia社とは長年の協業関係にあり、先行的に同社のGPUチップを採用してる。

Nvidia社のCEO、Jensen Huang が登壇、新製品であるH200チップを含めたGPUのラインアップや、次の内容の発表を行う。

  • DGX Cloud、というNvidiaのAI専用のクラウドサービスを提供計画中

  • これは、16,384台のGPUによって構成されていて、巨大なスーパーコンピュータとして機能する

  • Earth-2と呼ばれる、地球の地理情報のDigita Twinをこの上で動かしている。


Amazon EC2 Capacity Blocks for ML

数百のGPUを一つのクラスタ内でスケールできるサービス。必要なキャパシティを必要な時だけ課金される仕組み。


AWS Trainium 2 chip for generative AI and ML training

生成AIやML専用向けのファウンデーションモデル用のトレーニングを行うためのサービス

  • 従来のTrainiumの4倍の速度

  • 65 exaFlopsの性能

AWS Neuron:

Trainium上でマシンラーニングアプリの最適化のためのSDK

  • TensorFlow、PYTorch、JAXをサポート


Amazon SageMaker

マシンラーニングのアプリ開発プラットホーム


2つ目のレイヤ：生成AIアプリを開発するためのツール類


Amazon Bedrock

セキュアで、プライバシーが守られた環境で生成AIの開発、運用をしたいユーザをターゲット

  • 企業の持つデータを運用でき、それがトレーニングの素材に使われない

すでに世界で 10,000 人のユーザが広く業界を問わずBedrockを使用している。

フレキビリティが非常に重要な要件で、特にファウデーションモデルの選択の幅には力を入れてる


Anthropic

特にAnthropic社に関しては、AWSが先日、$4Bの投資している。


Anthropic社のCEO、Dario Amodei が登壇。AnthropicのLLMである、Claude-2.1は先日発表され、GPT-4の性能を上回るベンチマークもある。


Titan

AWSが独自開発したファウンデーションモデル、Titan

3つのファミリーによって構成されている。

  • Titan Text Lite

  • Titan Text Embeddings Model

  • Titan Text Express


セキュリティ

マイクロソフトが社内でのOpenAIの使用を一時的に禁止した、という記事を投影し、セキュリティに対する取り組みは競合企業と違ってAWSは真剣に考えている、とアピール

Guradrails for Bedrockというセキュリティの機能を発表

  • AIアプリケーションが危険なデータを扱わないためのフィルター機能

  • 特に個人情報（PII）の入力や表示を検知し、制限できる機能を実装


次の4つのポイントを強調：

  • 顧客のデータは一切生成AIのトレーニングの素材には使われない

  • 全てのデータは転送中／ストレージ中は暗号化

  • ファウンデーションモデルのカスタマイゼーションに使用される企業データはAWSのVPC内に止まり、外に出ない

  • GDPR、HIPAA等のセキュリティ規制に準拠


特に最近実装したセキュリティ要件は次の通り

  • CloudWatch Integration：AWSの監視サービスに実装

  • CloudTrail Integration：

  • SOC 1,2,3に準拠


ユーザデータによるカスタマーゼーション機能

Fine Tuning

Fine-Tuningは次のファウンデーションモデルに提供される；

  • Cohere Command Light

  • Meta Llama 2

  • Titan Text Lite & Express FM

Retrieval Augmented Generation (RAG) with Knowledge Base

継続的なPre-TrainingがAmazon Titan Text Lite と Expressで提供開始

Agents for Amazon Bedrock

企業内のデータを生成AIシステムに利用する事が企業にとっての最も重要な要件


Bedrock向けのプロンプトエンジニアリング機能に相当。これで、企業データをBedrockベースの生成AIシステムに取り込んで利用できるツール


ほぼ、ノーコード的な作り方ができる模様（実際にはデモなし）

  • まずはファウンデーションモデルを選択するところからスタート

  • 次にプロンプトエンジニアリング情報（Instructions）を入力。

  • Lambdaファンクションを指定

  • 企業内のデータソースを選択


3つ目のレイヤ：生成AIアプリを開発するためのツール類


Code Whisperer

すでに発表は先日実施：https://note.com/ippei_suzuki_us/n/nbc20a6e0bd90?sub_rt=share_pb

  • AIによるコード修復

  • インフラストラクチャ・アズ・コード（IaC）

  • Visual Studioとの連携


Amazon Q

日常の仕事で実際に使えるAIを提供するのが今回新しく発表するAmazon Qの目的。

  • チャットなどは存在するが実際にあまり使えない

  • チャット機能のセキュリティ面などの問題もまだ多い

Amazon Qのキーポイントとなる点は次の通り

  • AWSの運用ノウハウ17年分がトレーニング素材の生成AI

  • AWSの提供する全てのサービスに支援を提供：コンソール、IDE、ドキュメント

  • 必要に応じて、AWSの新しい機能やサービスの紹介も行う

  • AWS上の開発環境のトラブルシュートなども支援


画面例を通してAmazon Qの操作を紹介。
WEBアプリを作るための手順をAmazon Qが指示してくれる様子


Lambda上で構築した際に設定エラーを検知したらその対策をしてくれて、尚且つ、コスト面でも一番安く済む実装方法を提示。


コーディングの支援


最終的に運用までの手順をすべて支援してくれる


Code Transformation

  • Java言語でのプログラムのばジョンアップグレードを自動化（AWS社内でかなり使われていて、1000個以上のJavaプログラムアップグレードを2日間で完了した）

  • セキュリティポスチュアと性能向上の支援

  • WindowsからLinuxへの移行も支援（将来機能）

主要機能

  • セキュアな環境でビジネスに関する質問への回答を自然語で対応

  • 40以上のデータソース（S3, Salesforce, Google Drive, Microsoft 365, ServiceNow, Gmail, Slack, Atlassian, Zendesk）との接続

  • 各アプリ／サービスの既存のアクセス権管理を継承し、的確にデータへのアクセス権を管理する

利用手順

どのサービス／アプリを繋げるかは選択できる。


接続するための手続きを行う


最後はコンソールを通してやりたい仕事をスタートさせるだけ


特定のサービスやデータへのアクセス権は逐次チェックされる


出た結果は、逆にJIRAやSlackなどに反映させる事ができる。

Amazon Quicksight

データはすぐにAmazon QuickSightにて展開し、BI分析が可能に

Amazon QとAmazon QuickSightの連携による、生成AIのノウハウを活用したエキスパートBIシステムが実現される。

Amazon Connect

これらの機能を活用して、Amazon Connectを使った顧客ヘルプデスクシステムが容易に構築可能

  • 生成AIによるコンタクトセンターエージェント支援

  • リアルタイムの顧客との会話を聞いて自動的にエージェントのレスポンスが生成される

  • 自然検索による回答の生成

  • トレーニングを十分に積んでいないエージェントでも十分働ける


Connectは自動的に通話後の要約を作成し、自然言語のプロンプトを使用してリアルタイムでサポートスタッフを支援

いいなと思ったら応援しよう！