
Re:Invent - 速報(CEO - Adam Selipsky キーノート)@ ラスベガス
Re:Invent - 速報
(CEO - Adam Selipsky キーノート)
2023/11/28(火)8:00AM〜11:00AM @ Las Vegas
朝の8時からのCEO、Adam Selipsky氏のプレゼンはほぼ全編、AIについての話に終始。
特にBedrockを中心とした体系の発表と関係するサービスの紹介にほぼ全ての時間が費やされ、AWSがマイクロソフトの昨今のOpenAIとの動きにいかに敏感で、競合相手として見ているか、が非常によくわかります。
キーポイント:
マイクロソフト+OpenAI に関する対抗意識はかなり強い。GPT-3.5//4に関する話題は一切ないし、単語も一回も発言してない。
逆に今後は投資したAnthropic社のClaudeとの連携はかなり強くなる模様(自社のTitanとの競合もあるがいずれば統合する可能性もあるのかも)
機能によってはOSSの市場にまだ追いついていない領域もある(RAG系は少し遅れてるかも)
Amazon Qは、主体はAWSの純正のサービスを統合する機能だけど、AWS街のサービスもサポートしてるが部分的(Slack, Jiraなど)。この辺もかなりMS Office 365とOpenAIの統合を意識していると想定。Googleが全面的に協力するとは思いにくい。

最初の発表は、Salesforce社のEinsteinプラットホームがBedrock上でサポートされる、という内容。
世界中のユニコーン企業の80%以上がAWSを利用している、とのこと。
AWSのインフラストラクチャリージョンは現在32の既存リージョンにまたがり、今後さらに拡大する計画で、次に大きいクラウド(Azureの事)の3倍の数のデータセンターを持ってる。
AWSの生成AIへの取り組み

AWSの生成AIへの戦略は、3つのレイヤーを持つ、という点。
ファウンデーションモデルをトレーニングし、運用するためのインフラ
日常の業務に使う、アプリケーションレイヤ
生成AIアプリを開発するためのツール類
1つ目のレイヤ:ファウンデーションモデルをトレーニングし、運用するためのインフラ

Nvidiaとの協業

AWSがNvidia社とは長年の協業関係にあり、先行的に同社のGPUチップを採用してる。

Nvidia社のCEO、Jensen Huang が登壇、新製品であるH200チップを含めたGPUのラインアップや、次の内容の発表を行う。
DGX Cloud、というNvidiaのAI専用のクラウドサービスを提供計画中
これは、16,384台のGPUによって構成されていて、巨大なスーパーコンピュータとして機能する
Earth-2と呼ばれる、地球の地理情報のDigita Twinをこの上で動かしている。
Amazon EC2 Capacity Blocks for ML
数百のGPUを一つのクラスタ内でスケールできるサービス。必要なキャパシティを必要な時だけ課金される仕組み。

AWS Trainium 2 chip for generative AI and ML training

生成AIやML専用向けのファウンデーションモデル用のトレーニングを行うためのサービス
従来のTrainiumの4倍の速度
65 exaFlopsの性能
AWS Neuron:

Trainium上でマシンラーニングアプリの最適化のためのSDK
TensorFlow、PYTorch、JAXをサポート
Amazon SageMaker

マシンラーニングのアプリ開発プラットホーム
2つ目のレイヤ:生成AIアプリを開発するためのツール類

Amazon Bedrock

セキュアで、プライバシーが守られた環境で生成AIの開発、運用をしたいユーザをターゲット
企業の持つデータを運用でき、それがトレーニングの素材に使われない

すでに世界で 10,000 人のユーザが広く業界を問わずBedrockを使用している。

フレキビリティが非常に重要な要件で、特にファウデーションモデルの選択の幅には力を入れてる
Anthropic

特にAnthropic社に関しては、AWSが先日、$4Bの投資している。

Anthropic社のCEO、Dario Amodei が登壇。AnthropicのLLMである、Claude-2.1は先日発表され、GPT-4の性能を上回るベンチマークもある。
Titan
AWSが独自開発したファウンデーションモデル、Titan

3つのファミリーによって構成されている。
Titan Text Lite
Titan Text Embeddings Model
Titan Text Express
セキュリティ

マイクロソフトが社内でのOpenAIの使用を一時的に禁止した、という記事を投影し、セキュリティに対する取り組みは競合企業と違ってAWSは真剣に考えている、とアピール

Guradrails for Bedrockというセキュリティの機能を発表
AIアプリケーションが危険なデータを扱わないためのフィルター機能
特に個人情報(PII)の入力や表示を検知し、制限できる機能を実装

次の4つのポイントを強調:
顧客のデータは一切生成AIのトレーニングの素材には使われない
全てのデータは転送中/ストレージ中は暗号化
ファウンデーションモデルのカスタマイゼーションに使用される企業データはAWSのVPC内に止まり、外に出ない
GDPR、HIPAA等のセキュリティ規制に準拠

特に最近実装したセキュリティ要件は次の通り
CloudWatch Integration:AWSの監視サービスに実装
CloudTrail Integration:
SOC 1,2,3に準拠
ユーザデータによるカスタマーゼーション機能

Fine Tuning

Fine-Tuningは次のファウンデーションモデルに提供される;
Cohere Command Light
Meta Llama 2
Titan Text Lite & Express FM
Retrieval Augmented Generation (RAG) with Knowledge Base

継続的なPre-TrainingがAmazon Titan Text Lite と Expressで提供開始

Agents for Amazon Bedrock

企業内のデータを生成AIシステムに利用する事が企業にとっての最も重要な要件

Bedrock向けのプロンプトエンジニアリング機能に相当。これで、企業データをBedrockベースの生成AIシステムに取り込んで利用できるツール

ほぼ、ノーコード的な作り方ができる模様(実際にはデモなし)
まずはファウンデーションモデルを選択するところからスタート
次にプロンプトエンジニアリング情報(Instructions)を入力。
Lambdaファンクションを指定
企業内のデータソースを選択
3つ目のレイヤ:生成AIアプリを開発するためのツール類

Code Whisperer

すでに発表は先日実施:https://note.com/ippei_suzuki_us/n/nbc20a6e0bd90?sub_rt=share_pb
AIによるコード修復
インフラストラクチャ・アズ・コード(IaC)
Visual Studioとの連携
Amazon Q

日常の仕事で実際に使えるAIを提供するのが今回新しく発表するAmazon Qの目的。
チャットなどは存在するが実際にあまり使えない
チャット機能のセキュリティ面などの問題もまだ多い

Amazon Qのキーポイントとなる点は次の通り
AWSの運用ノウハウ17年分がトレーニング素材の生成AI
AWSの提供する全てのサービスに支援を提供:コンソール、IDE、ドキュメント
必要に応じて、AWSの新しい機能やサービスの紹介も行う
AWS上の開発環境のトラブルシュートなども支援

画面例を通してAmazon Qの操作を紹介。
WEBアプリを作るための手順をAmazon Qが指示してくれる様子

Lambda上で構築した際に設定エラーを検知したらその対策をしてくれて、尚且つ、コスト面でも一番安く済む実装方法を提示。

コーディングの支援

最終的に運用までの手順をすべて支援してくれる

Java言語でのプログラムのばジョンアップグレードを自動化(AWS社内でかなり使われていて、1000個以上のJavaプログラムアップグレードを2日間で完了した)
セキュリティポスチュアと性能向上の支援
WindowsからLinuxへの移行も支援(将来機能)
主要機能

セキュアな環境でビジネスに関する質問への回答を自然語で対応
40以上のデータソース(S3, Salesforce, Google Drive, Microsoft 365, ServiceNow, Gmail, Slack, Atlassian, Zendesk)との接続
各アプリ/サービスの既存のアクセス権管理を継承し、的確にデータへのアクセス権を管理する
利用手順

どのサービス/アプリを繋げるかは選択できる。

接続するための手続きを行う

最後はコンソールを通してやりたい仕事をスタートさせるだけ

特定のサービスやデータへのアクセス権は逐次チェックされる

出た結果は、逆にJIRAやSlackなどに反映させる事ができる。

データはすぐにAmazon QuickSightにて展開し、BI分析が可能に

Amazon QとAmazon QuickSightの連携による、生成AIのノウハウを活用したエキスパートBIシステムが実現される。

これらの機能を活用して、Amazon Connectを使った顧客ヘルプデスクシステムが容易に構築可能
生成AIによるコンタクトセンターエージェント支援
リアルタイムの顧客との会話を聞いて自動的にエージェントのレスポンスが生成される
自然検索による回答の生成
トレーニングを十分に積んでいないエージェントでも十分働ける

Connectは自動的に通話後の要約を作成し、自然言語のプロンプトを使用してリアルタイムでサポートスタッフを支援