技術士（経営工学・情報工学）が教えるDX（デジタルトランスフォーメーション）講座１３　DXのセカンドステップ－デジタライゼーション③SoIデータ分析、AIによる業務の高度化―

　前回まででデジタライゼーションの①SoR (System of Record／記録のためのシステム)と②SoE (System of Engagement／関係のためのシステム)についてご説明しました。今回は最後の③SoI (System of Insight／分析のためのシステム)について取り上げます。
 
　一般的なデータ分析やAIに関する解説は他の書籍などに任せるとして、ここでは、SoIが実際にどのような感じで行われるのかについてご紹介したいと思います。
 
　SoIは、SoRやSoEにおいて収集・蓄積されたデータの分析を通じて有用な「知見」を得ようとするものです。データサイエンスやAIなどの取り組みがまさにSoIの具体的な内容にあたるのですが、データ分析や人工知能のしくみだけを作っても、SoRやSoEから有意義なデータが入ってこなければ意味がありません。
 
　また、たとえSoRやSoEからデータが入ってきたとしても、そのままの形では分析利用することはおそらく無理でしょう。様々な業務で様々な形で蓄積されたデータの中から、共通するデータは統合し、分析に必要のないデータは消去するといったデータの加工処理が必要になるのです。
 
　そこで、データサイエンティストと呼ばれる名前だけはかっこいい専門家が、データの整理整とんという地味な作業をすることになります。ここでは、その一例として、統計解析やAI機械学習でよく利用されるクラスター分析や判別分析をするために行われるデータ加工処理についてご紹介したいと思います。
 
　たとえば、販売管理システムやネットショップシステムから顧客別の購買データから、類似の購買傾向がある顧客グループを探し出し、その顧客グループの購買傾向からお勧め商品のクーポンを発行するといったシナリオについて考えてみることにしましょう。いわゆるアマゾンや楽天などでよく見かけるレコメンデーションと呼ばれるテクニックです。
 
今、元の顧客別購買データが以下のような形式だったとします。
＜購買ヘッダデータ＞　
年月日、顧客コード、納品場所、支払方法、合計金額、･･･
＜購買明細データ＞　
年月日、顧客コード、明細番号、商品コード、単価、数量、、･･･
＜顧客マスタ＞
　顧客コード、氏名、性別、年齢、住所、…
＜商品マスタ＞
　商品コード、品名、商品カテゴリ、価格帯、…
 
　このままでは統計解析ツールにもAIツールにも使うことができません。そこで、ExcelやBIツールのクロス集計機能などを使って、以下のデータ形式へと変形させます。
＜顧客別購買データ＞
　顧客コード、商品コード１購買累積金額、商品コード２購買累積金額、…商品コードｎ購買累積金額
 
　実際には、データ量やデータ構造の複雑さから、もっと大変な作業になるのですが、結局は、「オブジェクト識別コード＋特徴データ１＋特徴データ２…特徴データｎ」の形式に持っていくことになります。このデータ形式に持っていくことによって、PythonやR、SPSSなどによる統計解析や、GoogleTensorFlow、MicrosoftAzureML、AmazonSageMakerなどによる機械学習（AI）が可能になります。
 
　あとは、対象顧客が属する顧客グループをクラスター分析で見つけ出し、まだその顧客が購入しておらず顧客グループの他の顧客が購買している商品をWebページにレコメンデーション表示したり、顧客の名前入りクーポンを差し込み印刷すればよいでしょう。
 
　ここでご紹介したレコメンデーションのしくみはDXの実際として後述する予定ですので、ご期待ください。