【AI審査モデル】モデルの評価・検証方法【python/機械学習/AI】

今回の記事では「AI審査モデルの基礎知識」の内容をまとめていこうと思います。

AI審査モデルの基礎知識 モデルのしくみと信用リスク管理 | 尾木 研三 |本 | 通販 | Amazon

AI審査モデルの評価・検証方法

序列性の検証（AR値）

序列性とは、格付けが低くなるほどデフォルト率が高くなっているか確認するもの。
理想的な形状は、「横軸に対して凸型になっていて、格付けが低くなるほど、急激にデフォルト率が高くなっている状態」
モデルを作成するときは上記の状態を目指す。

序列性

序列性が乱れているケースが下記。
上位の格付けより、下位の格付けのデフォルト率が下がってしまっている。

しかし、上記のグラフだけではどれくらい序列性があるか？というのはわからない。
序列性の程度を表す代表的な指標としてAR値がある。

AR値は相対的な指標なので、異なるモデルを比較するときに用いる。

PD(デフォルト確率)の一致性の検証

モデルで推計したデフォルト確率と実際のデフォルト確率の差を検証する。

上記はモデルで推定したデフォルト確率よりも、実際のデータを使ったデフォルト確率の方が高くなっており、推計値が過小評価となっている。
この差が大きいと収益に直接影響する可能性がある。

複数モデルの比較検証

異なるモデルの作成、モデルのアップデートなどを行った際は下記のようなマトリクスで評価できる。
対角線上の値が大きければ、同じような特性を持つモデル。
対角線上にない場合は、異なる特徴を示しているか、どちらかのモデルに異常があるといえる。