Azure Purviewを使ってみる

Azureで2021年4月現在Preview（プレビュー）段階であるAzure Purview（パービュー）を軽く使ってみました。

Azure Purviewとは

Azure Data Lake StorageやAmazon S3などのデータソースから自動的にデータを検出し、データカタログを簡単に作成できるサービスです。
データカタログを作成することでデータ項目の管理と検索性が向上します。
また、データに対して様々なタグ付けを行うことが可能で、データによっては自動タグ付けも可能です。

アカウント作成

以下のドキュメントを参考にAzure Purviewのアカウントを作成します。
https://docs.microsoft.com/ja-jp/azure/purview/create-catalog-portal

必要な情報を入力してアカウントを作成します。

こんなエラーが出た場合はサブスクリプションの変更が必要です。

「サブスクリプション」→「リソースプロバイダー」からエラーメッセージに表示されてるリソースプロバイダーを登録します。
（↑の画像の場合、StorageとEventHub）

アカウントを作成したらPurview Studioを開きます。

Purview Studioはこんな感じ

これでアカウント作成は完了です。

データソースを登録する

Purviewに登録するデータとしてMicrosoftがスターターキットを用意してくれているのでそれを利用します。
https://docs.microsoft.com/ja-jp/azure/purview/tutorial-scan-data

スクリプトを使ってデータを用意し、必要なリソースを作成します。（手順は割愛）
作成されるリソースはBlob StorageとAzure Data Lake Storage Gen2で、それをPurviewのデータソースとして登録します。

スターターキットのデータは以下のような感じでクレジットカード番号やメールアドレスが入っているTSVファイルです。（値はもちろんダミー）

データソースをスキャンする

データソース内のファイルをデータ資産としてPurviewに登録するため、データソースのスキャンを実施します。

登録したデータソースを選択して「New scan」を選択。

デフォルトのまま「continue」

データソースの中でスキャン対象とする資産を選択します。
今回はすべてを対象としてスキャンを実施

スキャンルールを選択します。
システムデフォルトのスキャンルールに加えて、カスタムでスキャンルールを作成することが可能です。
スキャンルールについては後述

スキャントリガーを設定します。
スケジューリングして定期的にスキャンを実行することも可能ですが、今回は「Once」を選択。

トリガー設定後スキャンが実行されます。

データ資産を閲覧する

スキャンが完了するとデータソース内のファイルがPurviewにデータ資産として登録されるので見ていきます。

トップページから「Browse assets」を選択し、先ほどスキャンしたデータソースを選択します。

Azure Data Lake Storage Gen2内のファイルが登録されていることが確認できました。

ファイルを選択するとファイルの詳細を見ることができます。
「Schema classifications」に「Credit Card Number」というタグが自動でついているのが分かります。このタグを見ることでこのファイルにはクレジットカード番号が含まれているというのが一目でわかります
また、タグで検索をすることも可能なので、データの検索が楽になります。

このタグ付け機能は実施したスキャンルールによってどのタグが付与されるかが決まります。

スキャンルール

システムデフォルトで用意されているスキャンルールは以下の通り。
「Management center」→「Scan rule sets」→「system」タブから確認できます。画像を見てわかる通り「Custom」タブも用意されています。

カスタムのスキャンルールではスキャン対象とするファイルタイプやタグ付けの分類ルールの指定が可能です。
実際に作ってみます。
Customタブから「New」を選択し、名前や説明を入力

スキャン対象とするファイルタイプを選択
対象外にしたいファイルがあればチェックを外す、リストにない場合は「New file type」から新しいファイルタイプを入力します。

次は分類ルールの選択です。
上半分はシステムデフォルトの分類ルールです。これを外すこともできます。
下半分は自由に作成できるカスタム分類ルールです。カスタム分類ルールの作成は後述しますが、自由に分類ができるため、企業内の用語などで分類することも可能です。

スキャンルールの作成は以上です。
作成したスキャンルールは実際にスキャンするときに選択することができます。

分類ルール

まずは「Classifications（分類）」を作成します。
「Management center」→「Classifications」→「New」から作成できます。
入力項目は名前と説明だけです。作成した分類名がデータ資産にタグとして登録されます。

次に「Classifications rules（分類ルール）」分類ルールを作成します。
「Management center」→「Classifications rules」→「New」から作成できます。

入力項目は以下の通りです。
スキャンルールは「Regular Expression（正規表現）」と「Dictionary（辞書）」の2種類から選択することができます。

正規表現の場合は手動でデータパターンを入力するか、分類したいデータファイルをアップロードすると推奨パターンが表示されるため、それを選択することもできます。
複数カラムがあるファイルでもそれぞれのカラムで推奨パターンが表示されます。

辞書タイプでは1カラムのファイルをアップロードすることで、そのカラムに合う正規表現を自動で設定してくれます。

こうして作成した分類ルールをスキャンルールに設定することで、タグ付けをカスタマイズすることができます。

最後に

Purviewにデータを登録すると自動でタグ付けがされ、データサービス関係なく一律で検索をすることができるため、検索性が大幅に向上すると感じました。
ただ、カスタムのタグ付けは数値データのみ対応しているため、画像や音声データをタグ付けはできません。

プレビュー段階ということなので、今後画像や音声データにも自由にタグ付けができるようになる可能性に期待です。

以上、Azure Purviewの紹介でした。

アバナード　清田　涼平
記事内容に関するご指摘や、その他何かございましたら下記に連絡ください
ryohei.kiyota(@)avanade.com