作者clairehuei ()
看板DataScience
標題[問題] 多標籤任務(Multi-Label)模型評估
時間Sat Aug 24 17:47:12 2019
各位大大好,最近小弟用keras在進行一個多標籤(不是多分類)模型的訓練,
ex:
# Samples
y_true = np.array([[1,1,0,0,1], [1,0,1,1,0], [0,1,1,0,0]])
y_pred = np.array([[0,1,1,1,1], [1,0,0,1,1], [1,0,1,0,0]])
想問的是,在實務上對於這種任務的模型效能應該怎麼評估?
目前我是爬文後參考網路上的建議,採用:
model.compile(loss='binary_crossentropy', optimizer='adam',
metrics=['accuracy'])
算出來的分數很高,但感覺有點怪怪的,不太確定這樣的評估標準是根據什麼?
一般二分類的分數計算較為直觀且易於驗算, 但在這邊有點難以理解~"~
懇請各位大大不吝指點, 感恩 <(_*_)>
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.84.186 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1566640034.A.510.html
1F：推 bessgaga: 那個loss就是把每一個label都當作一個二分類問題來做， 08/24 17:57
2F：→ bessgaga: 至於matric其實可以自己寫你要的效能判斷式，比如我之前 08/24 17:57
3F：→ bessgaga: 在做通訊工程問題就是算overall capacity ，不一定要拘 08/24 17:57
4F：→ bessgaga: 泥在他的matrices 08/24 17:57
5F：推 sean50301: multi label用precision recall來看比較好吧？ 08/24 20:04
6F：推 yoyololicon: precision recall f1-score 08/24 20:43
7F：→ KuChanTung: 必須要自己寫generator 08/24 20:49
之前做二分類的時候有使用:
Accuracy / Precision / Recall / F1-measure / ROC&AUC 這些指標
在多標籤這邊要用的話,是要針對個別的label去計算上述指標分數嗎?
有沒有一種指標是以整體來評估的呢?
※ 編輯: clairehuei (1.160.84.186 臺灣), 08/24/2019 21:44:38
※ 編輯: clairehuei (1.160.84.186 臺灣), 08/24/2019 21:45:05
8F：推 luluthejason: 我覺得 要看你到底想要評估什麼才對 不是說找個指 08/27 18:15
9F：→ luluthejason: 標就好 是看你有什麼期望才對吧？ 08/27 18:15
10F：推 illegalplan: 不然你自己對每個類別的F1做加權如何 之後再看各類 08/28 09:55
11F：→ illegalplan: 別的recall/precision 08/28 09:55
12F：推 ZongXiu: 使小數點第一位四捨五入，取整數，計算完全相同的比例 08/30 19:19