決定木アルゴリズムの分割基準：ジニ不純度とエントロピーを徹底解説

なぜ必要なのか？

決定木におけるジニ不純度とエントロピーは、データを分割するための基準として重要な役割を果たします。これらの指標を理解し適切に活用することで、より効率的かつ効果的な決定木モデルを構築できます。以下に、なぜこれらが必要なのかを説明します。

1. より良い分割を行うため: 決定木はデータセットを分割し、それぞれのノードで最も有益な質問をすることで機能します。ジニ不純度とエントロピーは、データの分割方法を定量的に評価し、最も情報価値の高い分割を選択するのに役立ちます。

2. モデルの精度向上: 正確な分割基準を使用することで、より正確な分類や予測を行うモデルを構築できます。ジニ不純度とエントロピーは、各分割がどの程度「純粋」または「不純」であるかを測定し、最適な分割を導き出すのに役立ちます。

3. 過学習の防止: 決定木は過学習しやすいモデルです。ジニ不純度とエントロピーを使用して適切な分割を行うことで、過度に複雑なツリー構造を避け、より一般化されたモデルを構築できます。

4. データの理解を深める: これらの指標を用いることで、データの特性や分布に関する洞察を得ることができます。特に、異なる特徴がターゲット変数に与える影響を理解するのに役立ちます。

ジニ不純度とエントロピーは、それぞれ独自の特性を持っており、データの性質やモデルの要件に応じて選択されます。これらの理解と適用により、データサイエンスや機械学習のプロジェクトにおいて、より効果的な決定を下し、高品質な予測モデルを構築することが可能になります。

メリット

• ジニ不純度

  • 計算が速く、大きなデータセットでも効率的。

  • 分類エラーの確率を直接的に表現する。

• エントロピー

  • 情報理論に基づき、データセットの不確実性を量化する。

  • よりバランスの取れた決定木を生成する傾向がある。

デメリット

• ジニ不純度

  • 情報の損失やデータの不確実性を直接的には表現しない。

• エントロピー

  • ジニ不純度に比べて計算コストが高くなる可能性がある。

  • 小さな変更に対して過敏に反応することがある。

実プロジェクトでの使用例
例として、顧客の購入傾向を分類するための決定木モデルを考えます。ここで、ジニ不純度とエントロピーを用いて、顧客の属性（年齢、収入、購入履歴など）に基づいて購入するか否かを分類します。

def gini_impurity(labels):
    """
    Calculate the Gini Impurity for a list of labels.
    """
    unique_labels = set(labels)
    impurity = 1
    for label in unique_labels:
        prob_of_label = labels.count(label) / len(labels)
        impurity -= prob_of_label ** 2
    return impurity

def entropy(labels):
    """
    Calculate the Entropy for a list of labels.
    """
    from math import log2
    unique_labels = set(labels)
    entropy = 0
    for label in unique_labels:
        prob_of_label = labels.count(label) / len(labels)
        entropy -= prob_of_label * log2(prob_of_label)
    return entropy

# Example labels
labels = [1, 1, 1, 0, 0, 0]

# Calculate Gini Impurity and Entropy
gini = gini_impurity(labels)
ent = entropy(labels)

gini, ent

ジニ不純度の公式

エントロピーの公式

ジニ不純度とエントロピーをPythonで実装し、サンプルデータ [1, 1, 1, 0, 0, 0] に適用した結果は以下の通りです。

• ジニ不純度: 0.5

• エントロピー: 1.0

このサンプルでは、ラベルが均等に分割されているため、ジニ不純度とエントロピーの両方が中間の値を示しています。ジニ不純度は最大1から始まり、ラベルの均一性が高まるにつれて減少します。一方、エントロピーは不確実性の量を表し、このケースでは最大値に達しています。

作ってわかる! アンサンブル学習アルゴリズム入門