【Numerai】Community Meet-Up | Tokyo, Japan, 2021

Numeraiの解析手法について、2021年に東京で開催されたNumeraiコミュニティミートアップの内容を基に詳細に解説します。

Numeraiとは？

Numeraiは、2015年に設立されたヘッジファンドで、世界中のデータサイエンティストが匿名で参加できるトーナメントを開催しています。参加者は提供された金融データを使って株式市場の動向を予測し、その予測モデルを提出します。成功したモデルには報酬が支払われ、ヘッジファンドの運用にも貢献します。

トーナメントの概要

Numeraiのトーナメントには、以下のような主要な特徴があります。

1. データ提供:

   • 参加者には株式市場のデータが提供されます。このデータには数千の特徴量（フィーチャー）と、それに対応する目標変数（ターゲット）が含まれます。

   • 最新のデータセットは「スーパー・マッシブ・データセット」と呼ばれ、非常に大規模であるため、解析に高い計算リソースが必要です。

2. 目標（ターゲット）:

   • 提供される目標変数は、株式の20日後や60日後のリターンを予測するものです。これらのターゲットは0から1の範囲に正規化されており、モデルはこれを予測することを目的とします。

3. バリデーション:

   • 提出されたモデルは、過去のデータを用いたバリデーションセットで評価されます。評価指標にはスピアマンの順位相関係数が使用され、高い相関を持つモデルが高評価を受けます。

4. 報酬:

   • モデルのパフォーマンスに応じて、報酬が支払われます。さらに、Meta Model Contribution (MMC) と呼ばれる、他の参加者のモデルと異なる独自性の高いモデルには追加報酬が与えられます。

データの解析手法

1. 前処理とデータクリーニング:

   • 提供されるデータには欠損値やノイズが含まれることがあるため、まずはデータクリーニングが必要です。欠損値の補完や異常値の処理などを行い、解析に適したデータセットを準備します。

2. 特徴量エンジニアリング:

   • 既存の特徴量に加えて、新しい特徴量を生成することでモデルの予測精度を向上させます。これは、統計的手法や機械学習を用いた方法が一般的です。

3. モデルの選定とトレーニング:

   • LightGBM、XGBoost、CatBoostなどの勾配ブースティングツリーがよく使用されます。これらのモデルは高い予測精度を持ち、大規模なデータにも対応できます。

   • ニューラルネットワークも有効な手法の一つです。特に、ベイズニューラルネットワークを用いることで、モデルの不確実性を扱うことができます。

4. バリデーション戦略:

   • 適切なバリデーションを行うことで、モデルの過学習を防ぎ、一般化性能を高めます。K-Foldクロスバリデーションやタイムシリーズクロスバリデーションが一般的に使用されます。

5. アンサンブル学習:

   • 複数のモデルを組み合わせることで、予測精度をさらに向上させます。異なるアルゴリズムやパラメータでトレーニングしたモデルをアンサンブルすることで、個々のモデルの弱点を補完します。

6. MMCの最適化:

   • 他の参加者とは異なる独自性の高い予測を行うために、Meta Model Contribution (MMC) を意識したモデル作成が求められます。これにより、追加報酬を得るチャンスが増えます。

新しいデータセット「スーパー・マッシブ・データセット」の導入

新しいデータセットでは、以下の点が重要です。

1. 完全なウィークリーデータ:

   • 新しいデータセットは完全にウィークリーデータに統一されており、一貫性のあるデータ解析が可能です。

2. 大規模なトレーニングデータ:

   • 574期間のトレーニングデータと105期間のバリデーションデータが提供されます。これにより、より長期間の学習が可能となります。

3. 欠損値の処理:

   • ターゲットデータには欠損値が含まれており、特に60日予測のデータでは欠損が多いです。これらの欠損値を適切に処理することが精度向上の鍵となります。

実践的な解析手法

1. ベースラインモデルの構築:

   • 公式やコミュニティが提供するベースラインモデルを使用し、まずは基本的なモデルを構築します。これにより、提出の流れや評価方法を理解します。

2. カスタムメトリクスの設定:

   • LightGBMやXGBoostなどのツールでカスタムメトリクスを設定し、スピアマンの順位相関係数を最大化するようにモデルを調整します。

3. 複数ターゲットの利用:

   • 異なる期間のターゲット（20日予測と60日予測など）を同時に予測するモデルを構築し、総合的な予測精度を向上させます。

まとめ

Numeraiの解析手法は、データサイエンスの先進的な技術を活用した高度なものであり、参加者は自分のスキルを試しながら実際の金融市場に貢献することができます。データクリーニング、特徴量エンジニアリング、モデルのトレーニング、バリデーション、アンサンブル学習など、多岐にわたるスキルが求められますが、その分得られる知識と報酬は大きなものとなります。新しいデータセットの導入により、さらなる解析の幅が広がり、今後のトーナメントもますます面白くなることでしょう。