模型是根據句中的哪段話判斷分類結果

 

#Transformer #BERT # Self -Attention  #Explainable AI  #LIME  #SHAP 

在NLP中的文章分類或句子的情緒判別中，模型分類結果符合預期，但如何得知到底是這句話或文章那句話或詞語決定了分類的結果 ? 

LIME 執行的結果

若使用的是Transformer 的BERT., 那可以透Attention weight distribution , 得知那模型主要關注了那一個字。但若分類模型不是BERT 這種具有Self -Attention 的機制，那作法可以用模型可解釋性 (Explainable AI) 的方法,，如LIME 或 SHAP ，他們會用分類模型結果去建立一個簡線性模型， 如Logistic Regression 的這種架構，Y=w1x1+w2x2+w3x3+....如此便可以透過這些權重值w1,w2,... 去了解每個字的重要性。