ROC_AUC

• ROC(Receiver-Operating-Characteristic-Curve)とAUC(Are-Under-Curve)は、異なるモデル（target vs non-target *）のperformanceを比較する手法です。machine learningでは一般的に用いられています。fNIRSの測定データの評価にも適用できます。被験者数が多い場合に有効な手法と考えられます。
• 機械学習のモデル評価（ML model performance evaluation）に幅広く使用されています。
• AUCの計算はROCからだけで無く、Wilcoxon-Mann-Whitney U-Statisticからも計算できます。
• AUCの値で群間の評価をします。
• 2種類の過誤についての直感的解説を下図に示します。

nontarget群とtarget群の分布図を次図に示します。（横軸は、mMmm、縦軸は測定観察数）重なり合う部分が、FP(False Positive, 偽陽性),FN(False Negative,偽陰性)となります。閾値（Threshold）を変えていき、TPR,FPRの数値を算出します。得られた、TPR,FPRをプロットしていき、ROC曲線を得ます。ROC曲線の下の面積がAUCとなります。

ROCは、WWII日本の真珠湾攻撃時、米軍はレーダで機影を捉えていたにも関わらず、雲と機影の判別が出来なかった問題解決の為に、開発された解析手法です。識別能力アップのツールです。

[参考文献]

・“Are you evaluating your model’s performance correctly?”, Kartikeya Rana, May3,2020
・The ROC-AUC and the Mann-Whitney U-test(Wilcoxon rank sum test)、Johannes Haupt
・「臨床検査診断能のロバストな比較：ROCのAUCを中心に」、古川敏仁、㈱バイオスタティスカル