作者fundamental (呵呵呵呵呵)
看板DataScience
標題[問題] 相似物體的物件偵測及實例分割 confidence threshold 設置
時間Thu Jun 27 14:31:57 2019
作業系統: win10
問題類別: Faster R-CNN、Mask R-CNN
使用工具: python
問題內容:
各位版友好
小弟最近在接觸物件辨識相關應用(商品辨識)
對於輸出結果的confidence threshold設置有些疑問
假設模型訓練時精度已經非常高的情況下，將辨識種類分為兩種
1.辨識的種類差異很大
confidence threshold可以設的非常高，ex:0.9
2.辨識的種類非常相似
confidence threshold設0.9幾乎找不到結果，如果設0.5甚至更低才會有輸出
很相似的種類在訓練時雖然得到很好的結果，但訓練資料不會完全符合實際應用的變化
故設太高可能會辨識不到，設太低可能會得到很多錯誤的結果
不知道一般會怎麼決定confidence threshold呢?
感覺這跟辨識的東西差異性大不大是相依的問題
面對細粒度物件辨識問題時該怎麼決定輸出閾值呢?
目前使用物件偵測Faster R-CNN 及實例分割 Mask R-CNN都會遇到一樣的問題
想請有經驗的幫忙解惑 謝謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.21.182.85 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1561617119.A.03B.html
1F：→ sxy67230: 做precision recall 06/27 19:22
2F：→ sxy67230: 大量測試下看你實際上應用需要的狀況，像你偵測癌症就會 06/27 19:28
3F：→ sxy67230: 希望recall高一點，誤判好細胞比讓癌症沒被殺死還要重要 06/27 19:28
4F：→ sxy67230: 更正一下，意思是你把正常細胞判錯沒關係，但是如果癌 06/27 19:33
5F：→ sxy67230: 細胞沒全殺光，有機會讓癌細胞擴散，那你的這套算法會 06/27 19:33
6F：→ sxy67230: 讓醫院賠死 06/27 19:33
7F：推 sxy67230: 所以才要recall高一點，其他應用也是一樣，看你希望應 06/27 19:36
8F：→ sxy67230: 用上能盡可能抓到全部的東西，那就recall高一點，你希 06/27 19:36
9F：→ sxy67230: 望盡量不要一直抓錯，那precision就高一點，但是相對來 06/27 19:36
10F：→ sxy67230: 說miss的機率就會提高 06/27 19:36
11F：推 sxy67230: 當然你也可以重頭重新標註資料，提升標註品質，那你rcnn 06/27 19:38
12F：→ sxy67230: 正確率也會提高 06/27 19:38
13F：→ fundamental: 先謝謝您的回覆，您說的比較像瑕疵辨識，寧可錯殺也 06/27 21:08
14F：→ fundamental: 不放過任何一個 06/27 21:08
15F：→ fundamental: 但我的應用上不只有兩個分類，可能沒辦法用這個方法 06/27 21:12
16F：→ fundamental: 目前我是打算先用物件偵測找出物品位置再做分類辨識 06/27 21:19
17F：→ fundamental: 將辨識問題拆為兩段，物件偵閾值應該就能設比較高了 06/27 21:21
18F：→ sxy67230: 多分類是可以比照二分類的方式，畫PR曲線找到比較理想 06/27 21:40
19F：→ sxy67230: 的threshold。 06/27 21:40
20F：→ sxy67230: 上面只是舉例二分類，多分類一樣能透過pr找到threshold 06/27 21:41
21F：→ sxy67230: 較佳值。 06/27 21:41
22F：→ fundamental: 了解 謝謝您的分享 06/27 21:52