![見出し画像](https://assets.st-note.com/production/uploads/images/123010527/rectangle_large_type_2_13d519dfdc5c75bda1a6f9f6c87b01a0.png?width=1200)
Re:Invent - 速報(CEO - Adam Selipsky キーノート)@ ラスベガス
Re:Invent - 速報
(CEO - Adam Selipsky キーノート)
2023/11/28(火)8:00AM〜11:00AM @ Las Vegas
朝の8時からのCEO、Adam Selipsky氏のプレゼンはほぼ全編、AIについての話に終始。
特にBedrockを中心とした体系の発表と関係するサービスの紹介にほぼ全ての時間が費やされ、AWSがマイクロソフトの昨今のOpenAIとの動きにいかに敏感で、競合相手として見ているか、が非常によくわかります。
キーポイント:
マイクロソフト+OpenAI に関する対抗意識はかなり強い。GPT-3.5//4に関する話題は一切ないし、単語も一回も発言してない。
逆に今後は投資したAnthropic社のClaudeとの連携はかなり強くなる模様(自社のTitanとの競合もあるがいずれば統合する可能性もあるのかも)
機能によってはOSSの市場にまだ追いついていない領域もある(RAG系は少し遅れてるかも)
Amazon Qは、主体はAWSの純正のサービスを統合する機能だけど、AWS街のサービスもサポートしてるが部分的(Slack, Jiraなど)。この辺もかなりMS Office 365とOpenAIの統合を意識していると想定。Googleが全面的に協力するとは思いにくい。
![](https://assets.st-note.com/img/1701224167412-PrrGPT8z1O.png)
最初の発表は、Salesforce社のEinsteinプラットホームがBedrock上でサポートされる、という内容。
世界中のユニコーン企業の80%以上がAWSを利用している、とのこと。
AWSのインフラストラクチャリージョンは現在32の既存リージョンにまたがり、今後さらに拡大する計画で、次に大きいクラウド(Azureの事)の3倍の数のデータセンターを持ってる。
AWSの生成AIへの取り組み
![](https://assets.st-note.com/img/1701224178358-3WCKU0ztvb.png?width=1200)
AWSの生成AIへの戦略は、3つのレイヤーを持つ、という点。
ファウンデーションモデルをトレーニングし、運用するためのインフラ
日常の業務に使う、アプリケーションレイヤ
生成AIアプリを開発するためのツール類
1つ目のレイヤ:ファウンデーションモデルをトレーニングし、運用するためのインフラ
![](https://assets.st-note.com/img/1701224189343-S8JVsYACtQ.png?width=1200)
Nvidiaとの協業
![](https://assets.st-note.com/img/1701224195445-enZU55VZbC.png?width=1200)
AWSがNvidia社とは長年の協業関係にあり、先行的に同社のGPUチップを採用してる。
![](https://assets.st-note.com/img/1701224202432-AKb6wyWQDg.png?width=1200)
Nvidia社のCEO、Jensen Huang が登壇、新製品であるH200チップを含めたGPUのラインアップや、次の内容の発表を行う。
DGX Cloud、というNvidiaのAI専用のクラウドサービスを提供計画中
これは、16,384台のGPUによって構成されていて、巨大なスーパーコンピュータとして機能する
Earth-2と呼ばれる、地球の地理情報のDigita Twinをこの上で動かしている。
Amazon EC2 Capacity Blocks for ML
数百のGPUを一つのクラスタ内でスケールできるサービス。必要なキャパシティを必要な時だけ課金される仕組み。
![](https://assets.st-note.com/img/1701224208934-hZfQIGUr8r.png?width=1200)
AWS Trainium 2 chip for generative AI and ML training
![](https://assets.st-note.com/img/1701224226846-YsliPL0WYz.png?width=1200)
生成AIやML専用向けのファウンデーションモデル用のトレーニングを行うためのサービス
従来のTrainiumの4倍の速度
65 exaFlopsの性能
AWS Neuron:
![](https://assets.st-note.com/img/1701224230416-fcvujiP8Jw.png?width=1200)
Trainium上でマシンラーニングアプリの最適化のためのSDK
TensorFlow、PYTorch、JAXをサポート
Amazon SageMaker
![](https://assets.st-note.com/img/1701224237375-C3kgK8hDOe.png?width=1200)
マシンラーニングのアプリ開発プラットホーム
2つ目のレイヤ:生成AIアプリを開発するためのツール類
![](https://assets.st-note.com/img/1701224244414-OWn9rmqxbr.png?width=1200)
Amazon Bedrock
![](https://assets.st-note.com/img/1701224247188-8fJGReQGNV.png?width=1200)
セキュアで、プライバシーが守られた環境で生成AIの開発、運用をしたいユーザをターゲット
企業の持つデータを運用でき、それがトレーニングの素材に使われない
![](https://assets.st-note.com/img/1701224266023-BNviKT15Ad.png?width=1200)
すでに世界で 10,000 人のユーザが広く業界を問わずBedrockを使用している。
![](https://assets.st-note.com/img/1701224273437-GYBrzF1fOA.png?width=1200)
フレキビリティが非常に重要な要件で、特にファウデーションモデルの選択の幅には力を入れてる
Anthropic
![](https://assets.st-note.com/img/1701224284507-UKqcyYAJT1.png?width=1200)
特にAnthropic社に関しては、AWSが先日、$4Bの投資している。
![](https://assets.st-note.com/img/1701224288257-QAb4lsw9J5.png?width=1200)
Anthropic社のCEO、Dario Amodei が登壇。AnthropicのLLMである、Claude-2.1は先日発表され、GPT-4の性能を上回るベンチマークもある。
Titan
AWSが独自開発したファウンデーションモデル、Titan
![](https://assets.st-note.com/img/1701224300167-189FbhSjnx.png?width=1200)
3つのファミリーによって構成されている。
Titan Text Lite
Titan Text Embeddings Model
Titan Text Express
セキュリティ
![](https://assets.st-note.com/img/1701224303466-ZXSSpw3Nzp.png?width=1200)
マイクロソフトが社内でのOpenAIの使用を一時的に禁止した、という記事を投影し、セキュリティに対する取り組みは競合企業と違ってAWSは真剣に考えている、とアピール
![](https://assets.st-note.com/img/1701224312338-Zp9OZCYrUT.png?width=1200)
Guradrails for Bedrockというセキュリティの機能を発表
AIアプリケーションが危険なデータを扱わないためのフィルター機能
特に個人情報(PII)の入力や表示を検知し、制限できる機能を実装
![](https://assets.st-note.com/img/1701224317757-c5L8b6mHgi.png?width=1200)
次の4つのポイントを強調:
顧客のデータは一切生成AIのトレーニングの素材には使われない
全てのデータは転送中/ストレージ中は暗号化
ファウンデーションモデルのカスタマイゼーションに使用される企業データはAWSのVPC内に止まり、外に出ない
GDPR、HIPAA等のセキュリティ規制に準拠
![](https://assets.st-note.com/img/1701224323681-XOWdergEle.png?width=1200)
特に最近実装したセキュリティ要件は次の通り
CloudWatch Integration:AWSの監視サービスに実装
CloudTrail Integration:
SOC 1,2,3に準拠
ユーザデータによるカスタマーゼーション機能
![](https://assets.st-note.com/img/1701224329895-tS0hL7kyHs.png?width=1200)
Fine Tuning
![](https://assets.st-note.com/img/1701224332883-LsYfzyJD7Y.png?width=1200)
Fine-Tuningは次のファウンデーションモデルに提供される;
Cohere Command Light
Meta Llama 2
Titan Text Lite & Express FM
Retrieval Augmented Generation (RAG) with Knowledge Base
![](https://assets.st-note.com/img/1701224339017-VXmqGEem7p.png?width=1200)
継続的なPre-TrainingがAmazon Titan Text Lite と Expressで提供開始
![](https://assets.st-note.com/img/1701224342577-DPI5rnP6hP.png?width=1200)
Agents for Amazon Bedrock
![](https://assets.st-note.com/img/1701224347243-NQAifzehKT.png?width=1200)
企業内のデータを生成AIシステムに利用する事が企業にとっての最も重要な要件
![](https://assets.st-note.com/img/1701224351403-GF6IFzktK1.png?width=1200)
Bedrock向けのプロンプトエンジニアリング機能に相当。これで、企業データをBedrockベースの生成AIシステムに取り込んで利用できるツール
![](https://assets.st-note.com/img/1701224359704-yqUydts8NR.png?width=1200)
ほぼ、ノーコード的な作り方ができる模様(実際にはデモなし)
まずはファウンデーションモデルを選択するところからスタート
次にプロンプトエンジニアリング情報(Instructions)を入力。
Lambdaファンクションを指定
企業内のデータソースを選択
3つ目のレイヤ:生成AIアプリを開発するためのツール類
![](https://assets.st-note.com/img/1701224365916-IJpECzUB31.png?width=1200)
Code Whisperer
![](https://assets.st-note.com/img/1701224371003-n0441MtwDN.png?width=1200)
すでに発表は先日実施:https://note.com/ippei_suzuki_us/n/nbc20a6e0bd90?sub_rt=share_pb
AIによるコード修復
インフラストラクチャ・アズ・コード(IaC)
Visual Studioとの連携
Amazon Q
![](https://assets.st-note.com/img/1701224376966-efFoScAeOt.png?width=1200)
日常の仕事で実際に使えるAIを提供するのが今回新しく発表するAmazon Qの目的。
チャットなどは存在するが実際にあまり使えない
チャット機能のセキュリティ面などの問題もまだ多い
![](https://assets.st-note.com/img/1701224382383-CvYMakWPZP.png?width=1200)
Amazon Qのキーポイントとなる点は次の通り
AWSの運用ノウハウ17年分がトレーニング素材の生成AI
AWSの提供する全てのサービスに支援を提供:コンソール、IDE、ドキュメント
必要に応じて、AWSの新しい機能やサービスの紹介も行う
AWS上の開発環境のトラブルシュートなども支援
![](https://assets.st-note.com/img/1701224392187-hK0xYSeZCM.png?width=1200)
画面例を通してAmazon Qの操作を紹介。
WEBアプリを作るための手順をAmazon Qが指示してくれる様子
![](https://assets.st-note.com/img/1701224395136-B8LQoYHolG.png?width=1200)
Lambda上で構築した際に設定エラーを検知したらその対策をしてくれて、尚且つ、コスト面でも一番安く済む実装方法を提示。
![](https://assets.st-note.com/img/1701224400863-nNLsdmwRLg.png?width=1200)
コーディングの支援
![](https://assets.st-note.com/img/1701224405544-cbeq74BUHS.png?width=1200)
最終的に運用までの手順をすべて支援してくれる
![](https://assets.st-note.com/img/1701224491383-CQZFXES0Jc.png?width=1200)
Java言語でのプログラムのばジョンアップグレードを自動化(AWS社内でかなり使われていて、1000個以上のJavaプログラムアップグレードを2日間で完了した)
セキュリティポスチュアと性能向上の支援
WindowsからLinuxへの移行も支援(将来機能)
主要機能
![](https://assets.st-note.com/img/1701224496910-Fc746N3izV.png?width=1200)
セキュアな環境でビジネスに関する質問への回答を自然語で対応
40以上のデータソース(S3, Salesforce, Google Drive, Microsoft 365, ServiceNow, Gmail, Slack, Atlassian, Zendesk)との接続
各アプリ/サービスの既存のアクセス権管理を継承し、的確にデータへのアクセス権を管理する
利用手順
![](https://assets.st-note.com/img/1701224505061-NB7xJ9uENa.png?width=1200)
どのサービス/アプリを繋げるかは選択できる。
![](https://assets.st-note.com/img/1701224508183-7XH0DkF6su.png?width=1200)
接続するための手続きを行う
![](https://assets.st-note.com/img/1701224516899-7nibuCIBgV.png?width=1200)
最後はコンソールを通してやりたい仕事をスタートさせるだけ
![](https://assets.st-note.com/img/1701224519880-f46MruBBRF.png?width=1200)
特定のサービスやデータへのアクセス権は逐次チェックされる
![](https://assets.st-note.com/img/1701224526638-S0pfbM4UYL.png?width=1200)
出た結果は、逆にJIRAやSlackなどに反映させる事ができる。
![](https://assets.st-note.com/img/1701224536980-zVFd87b7jk.png?width=1200)
データはすぐにAmazon QuickSightにて展開し、BI分析が可能に
![](https://assets.st-note.com/img/1701224539885-UqqrTwq4Wn.png?width=1200)
Amazon QとAmazon QuickSightの連携による、生成AIのノウハウを活用したエキスパートBIシステムが実現される。
![](https://assets.st-note.com/img/1701224544265-ncF4ZExu98.png?width=1200)
これらの機能を活用して、Amazon Connectを使った顧客ヘルプデスクシステムが容易に構築可能
生成AIによるコンタクトセンターエージェント支援
リアルタイムの顧客との会話を聞いて自動的にエージェントのレスポンスが生成される
自然検索による回答の生成
トレーニングを十分に積んでいないエージェントでも十分働ける
![](https://assets.st-note.com/img/1701224550156-ypSSbCtRqI.png?width=1200)
Connectは自動的に通話後の要約を作成し、自然言語のプロンプトを使用してリアルタイムでサポートスタッフを支援