不平衡資料集的解決辦法

 

當樣本類別分佈很不平均時 , 如何解決?

不平衡資料集

(1) 從資料下手: 

除了用data augumentation 增加少數Minority類別的樣本資料， 也可以用Resampling 的方法，避免模型訓練後偏向回答多數(Majority)類別的答案 .
Resampling 是指反覆地從訓練資料中抽取不同的樣本子集，並對每組子集重新訓練模型，減少模型的偏差。Resampling 的方法如 Bootstrap 取樣法或 K-Fol 交叉驗證，這兩種方法其主要差異在於樣本子集的抽取方式：Bootstrap使用有放回的隨機抽樣，而 k-fold 交叉驗證則將資料分成 k 個不重疊的子集進行訓練與驗證。

分割： 把訓練集（注意，這裡指的是除去最終測試集後剩下的數據）平均分成 k 個小集合（或稱為「摺」，folds）。

迭代訓練與驗證： 針對這 k 個摺，重複以下步驟 k 次：

• 訓練： 選取其中 k-1 個摺作為訓練數據來訓練模型。
• 驗證： 用剩下那 1 個摺作為臨時的測試集（或驗證集），來評估模型的表現（例如計算準確率）。

平均表現： k-摺交叉驗證最終報告的模型表現，是這 k 次驗證結果的平均值。

(2) 從模型下手: 

資料添增完後，可以更進一步雙管齊下去修改模型的 Loss 函數，當模型對少數類別的判別錯誤時加重懲罰，加大它的Loss。 例如 logistic regression 的 Loss 函數 可以修改成這樣。