AUC - ROC曲線

分類では、さまざまな評価指標がある。最もポピュラーなのは精度で、モデルがどれくらいの頻度で正しいかを測定します。これは理解しやすく、最も正しい推測を得ることが望まれることが多いので、素晴らしい評価基準です。他の評価指標を使うことを検討する場合もあります。

もう1つの一般的な評価指標は、AUC（ROC（receiver operating characteristic）曲線下面積）です。ROC曲線は、異なる分類しきい値での真陽性（TP）率と偽陽性（FP）率をプロットします。しきい値は、2値分類で2つのクラスを分離する異なる確率のカットオフです。これは、モデルがどの程度クラスを分離するかを知るために確率を使用します。

もう 1 つの一般的な指標は次のとおりです。AUC、受信者動作特性の下の領域 (ROC) 曲線。受信者動作特性曲線は、真陽性 (TP) 率と偽陽性 (FP) 異なる分類しきい値でのレート。しきい値は、バイナリ分類で 2 つのクラスを分離する異なる確率カットオフです。確率を使用して、モデルがクラスをどの程度分離しているかを示します。

不均衡なデータ

データの大部分が 1 つの値である不均衡なデータ セットがあるとします。多数派クラスを予測することで、モデルの高い精度を得ることができます。

広告

非常に高い精度が得られますが、モデルはデータに関する情報を提供していないため、役に立ちません。クラス1は100%の確率で正確に予測しますが、クラス0は0%の確率で不正確に予測します。精度を犠牲にして、2つのクラスをある程度分離できるモデルを使用する方がよい場合があります。

2番目の予測セットでは、最初の予測ほど精度スコアは高くありませんが、各クラスの精度はよりバランスが取れています。精度を評価指標として使用すると、データについて何も教えてくれなくても、最初のモデルを2番目のモデルよりも高く評価します。

このような場合は、AUCなどの別の評価指標を使用することをお勧めします。

AUCスコアが0.5程度であれば、モデルは2つのクラスを区別することができず、曲線は傾き1の直線のようになります。AUCスコアが1に近ければ、モデルは2つのクラスを分離する能力があり、曲線はグラフの左上隅に近づきます。

確率

AUCはクラス予測の確率を利用するメトリックであるため、精度が類似していても、AUCスコアが低いモデルよりもAUCスコアが高いモデルの方が信頼性が高くなります。

以下のデータには、仮説モデルからの確率の2つのセットがあります。最初の確率は、2つのクラスを予測するときに「信頼できる」ものではありません (確率は0.5に近い)。 2番目のクラスは、2つのクラスを予測する際により「信頼できる」確率を持っています (確率は0または1の極値に近い)。

2つのモデルの精度は似ていますが、AUCスコアが高いモデルの方が信頼性が高くなります。これは、予測される確率が考慮されているためです。将来のデータを予測するときに、より高い精度が得られる可能性が高くなります。