データ分析におけるAWSサービスに触れる

はじめに

みなさんはAWS サービスデリバリープログラム(通称：SDP)をご存知でしょうか。SDPとはAWS のサービスを深く理解し、これらのサービスをお客様に提供することについての成功実績を有している AWS パートナーを認定するプログラムです。認定されると、AWSパートナーとしての技術的な能力を有している事の証明となります。

AWS サービスデリバリープログラム(通称：SDP)
https://aws.amazon.com/jp/partners/programs/service-delivery/

ZEALではベンダー各社とのアライアンス強化について、日々取り組んでおり、国内でRedshiftとQuickSight両方のSDPを初めて取得した企業となります。
お客様へソリューションを提供していく中で顧客からの高い要求に対して、エンジニアが高度な技術・知見を習得する機会・環境に恵まれたことがSDPを取得出来た大きな要素としてあります。

Redshiftの優位性

2018年9月に経済産業省から発表されたレポート「2025年の崖」や
ストレージコストの低下による大規模データを扱う上でのランニングコストの削減が可能になったことを背景として企業のDX化が注目されるようになっております。DX化する上での大きな課題として以下の2つがあげられます。

＜2つの課題＞
１．データサイロ化
現在、様々な部署が独自にシステム構築を行い、独自のデータベースにデータを蓄積しているが、情報が連携されておらず、部署間を横断したデータの利活用が難しい。

２．データ増大への対応
近年インターネットの急速な普及により、システムで取り扱うデータ量が増大している。増大するデータ量に対してシステムのストレージ増強が追いつかない。

Redshiftは、上記課題にも対応可能なフルマネージド型のペタバイトスケールのデータウェアハウスサービスです。数百ギガバイトからペタバイト以上にストレージ容量を拡張することができ、スモールスタートで開始しシステムの利用状況に応じて自由に拡張が可能なデータベースです。

◆Redshiftが選ばれる理由

Redshiftは、大容量のデータWLMによる自動チューニングシステムにより、どのようなスケールにおいても最大のパフォーマンスを発揮するように設計されています。また近年登場したRAインスタンスではAmazon S3を利⽤し たマネージドストレージを採⽤し、コンピュート（処理能⼒）とストレージを分離して、柔軟なスケールアウトが可能になっています。これによりスモールスタートでシステム構築を行い、規模・データ量が大きくなるごとにシステムを拡張していくことが可能です。Redshiftの特徴について詳しく説明していきます。

◆ワークロード管理

ワークロード管理（WLM）を使用すると、ユーザはワークロード内で実行するクエリの優先順位やリソースの割当を柔軟に管理することが出来ます。実行に長い時間を要するクエリはデータベースのリソースを専有してしまい、データベース全体のボトルネックとなり、ショートクエリを待たせる可能性があります。そこで、用途ごとにクエリの並列度やメモリ（％）の上限を設けた複数のキューを定義することでクエリ処理の制御が可能になります。また従来のRedshiftでは同時接続数に課題を抱えるケースがありましたが、同時実行スケーリング機能を使うことで負荷状況に応じてクラスターの動的スケーリングが可能になっています。

◆AQUA (Advanced Query Accelerator)

AQUAは、ハードウェアアクセラレーションキャッシュを用いて高速化する機能です。RA3インスタンスは、DCやDSといった従来のインスタンスと異なり、コンピュートとストレージ（Redshiftのマネージドストレージ）を分離したアーキテクチャになりますが、この2つの間に位置するのがAQUAになります。

AQUAを活用することで、従来のCPUとS3のネットワークでの通信がなくなりAQUAノードとS3の高速な通信帯域で通信が行われるためクエリの実行時間が格段に短くなります。

◆AWS Database Migration Service

現在Redshift以外のデータベースを使用しており、Redshiftへのマイグレーションを検討しているお客様に提供可能なAWSのマイグレーションサービスとしてAWS Database Migration Service (AWS DMS)があります。

AWS DMS は、リレーショナルデータベース、データウェアハウス、NoSQL データベース、他の種類のデータストアを移行しやすくするクラウドサービスです。AWS DMSを使用したマイグレーションではオンプレミス・クラウドをと合わず様々なデータベースからRedshiftへの移行がサポートされております。

AWS DMS を使用すると、一度の移行のみではなく、継続的な変更をレプリケートしてソースとターゲットの同期を維持することができます。またデータベースエンジンを移行する場合、AWS Schema Conversion Tool (AWS SCT) を使用してデータベーススキーマを新しいプラットフォームに変換できます。これらのサービスはAWSが提供しているサービスのため、コスト効率性、市場投入の迅速化、セキュリティ、柔軟性を実現できます。

容易なデータの可視化

BIやビッグデータが注目されるようになり早20年以上経過し、データ分析ツールとしてエクセルを始めとして各ベンダーが様々なツールをローンチしています。その中でも近年注目を集めているBIツールとして、AWS社が提供するQuickSightがあります。これまでは多くのBIツールは使用するまでに、多額のシステム投資や高い専門的なスキルが必要となり敷居が高いツールでした。それに対してQuickSightは以下の特徴があり、安い導入コストでスキルが高くなくても分析が可能なツールとして採用する企業が増えてきております。

・WEBブラウザがあれば利用可能（ソフトウエアの導入不要）
・サーバ運用管理不要
・容易な開発とメンテナンス
　→ドラッグ＆ドロップで直観的な操作
・高速で一貫したパフォーマンス
・ML(機械学習)インサイト
　→異常検知、将来の値を予測、文章で分析結果の提供
・利用形態に合わせた２つの料金体系（Enterprise Edition、Standard Edition）
　→参照ユーザは参照しなければコストの掛からない料金体系

また前述のRedshiftを始めとした、AWSサービスとの親和性が高く既にAWSを利用している企業であれば容易に導入が可能になっています。AWS以外にも様々なサービスとの連携が可能になっており、次の項目ではQuickSightの機能について説明していきます。

◆様々なデータソースに対応

QuickSightで利用できるデータソースはCSVファイルやExcelなどのローカルファイルを始めとして、RedshiftやRDS、Snowflakeなどの各種データベースに対応しています。またデータベースに限らずS3のファイルを直接参照することも可能で、既に存在するあらゆるデータに対して簡単に分析を行うことが可能です。またQuickSightでは異なるデータソースのデータ（S3やRedshift）を1つのデータセット内で組み合わせてデータを結合するマルチデータソースも可能になっており分散しているデータに対して分析を行うことも容易に可能なツールです。

◆SPICE(Super-fast, Parallel, In-memory Calculation Engine)

QuickSightは、レポート表示の高速化の技術として高度な計算を迅速に実行し、データを提供するように設計されたインメモリの計算エンジン「SPICE(Super-fast, Parallel, In-memory Calculation Engine)」を内蔵しています。SPICEに格納したデータは、高速に処理されレポートの表示までの速度が格段に向上します。ユーザがデータセットを作成または編集するときは、「アップロードされたファイル（ExcelやCSVファイル等）」がデータセットに含まれる場合を除き、「SPICE」か「直接クエリ」のいずれかを選択できます。

SPICEの容量は、アカウント内でQuickSightを使用するすべてのユーザで共有されます。管理者と作成者は、１ユーザあたり10GBのSPICE容量が付与されます。管理者は、ユーザが利用できる容量を確認し、追加購入や未使用の容量を解放できます。

SPICEにデータを取り込む方法はGUIからの随時実行の他、スケジュールによる定期取込、AWS CLIからの取込起動などがあります。SPICEの注意点として、SPICEに格納されるデータは非圧縮状態で格納されるため、DBに格納時のデータ容量に対して消費容量が大きくなってしまうことなどがあげられます。

まとめ

別記事でも紹介している通り、ZEALではAWSをはじめとして、様々なBIツール・データベースを取り扱っております。
また、ZEAL独自の製品ではSaaS製品としてBIとDWHを1つのサービスとして提供しているZEUSCloudなどもあります。

これらの製品を取り扱う中でベンダー各社と密接に連携を取り合い、お客様へベストなソリューションを提供できるように取り組んでおります。
その中でSDPのようなベンダー認定を取得し、パートナー関係の強化・アライアンス活動も並行して行っております。