2026年11月15日 星期日

iPAS 中級科目三:綜合情境模擬題

回想大略有一題考題

題目:某銀行風險管理團隊開發了兩套信用卡盜刷偵測模型(模型 A 與模型 B),並在包含 10,000 筆交易的測試集上進行驗證(其中實際盜刷案件僅佔 1%,即 100 筆;正常交易為 9,900 筆)。在預設分類閾值下,兩組模型的混淆矩陣結果如下:

模型 A:TP = 80、FN = 20、FP = 100、TN = 9,800
模型 B:TP = 85、FN = 15、FP = 900、TN = 9,000
已知每漏抓一筆盜刷(FN)銀行平均損失 10,000 元;而每次誤判正常交易為盜刷(FP)進行人工照會與卡片重發的作業成本為 1,000 元。關於這兩組模型的指標判讀與最佳模型選擇,下列敘述何者最為正確?

(A) 因為模型 B 的召回率(Recall = 85%)與ROC 曲線下的真陽性率(TPR)較高,且假陽性率(FPR)僅約 9.1%,故模型 B 明顯優於模型 A 
(B) 本案屬於嚴重類別不平衡資料集,若使用 ROC-AUC 評估會因龐大的 TN 稀釋誤報影響而產生過度樂觀的假象,應改以 PR 曲線(Precision-Recall) 或 期望總成本 評估;綜合評估下,模型 A 優於模型 B

 (C) 模型 B 的整體準確率(Accuracy = 90.85%)超過九成,符合金融風控高標準,且其精確率(Precision)高於模型 A,應選用模型 B 

(D) 若希望同時比較兩模型在不同分類閾值下的排序能力,在此不平衡情境下應優先比較兩者的 ROC-AUC 面積,面積較大者必定能帶來最低的商業損失。


Ans: IT Lab艾鍗學院技術Blog: ROC-AUC 不適合作為Anomaly Detection的效能指標 https://share.google/RLAVpxwLofF4w2TCv


後來看一下A答案,好像也不用算那麼複雜, 其實只有框起來 才要算了,其他的數字都不重要


沒有留言 :

張貼留言