作者ken83715 (冒煙的宏)
看板DataScience
標題[討論] Precision & Recall
時間Sat May 19 01:47:09 2018
大家好 我是小小研究生
想請問大家對於Precision以及Recall的想法
通常是什麼情況下會特別注重Precision
又什麼情況會注重Recall呢?
最近在教機器學習關於評估模型
TP FP TN FN的部分
我自己的想法是
>>例如判斷有無得到傳染病
Precision指的是在模型判斷有傳染病的人之中
真的有得到傳染病的人有多少比例
Recall是在所有得到傳染病的人裡面
有被模型找到的人占多少比例
我會希望Recall盡量高一點
因為不想有沒被篩檢出來的人
會造成疫情擴散之類的
>>另外一個例子 判斷是否是潛在罪犯
預防性羈押
Precision指的是模型判斷是犯人之中
真的是犯人的比例
Recall是在所有犯人中
有被模型抓到的比例
這個例子裡面我應該會比較注重Precision
因為不想冤枉好人
>>所以簡單來說是
如果寧可錯殺100不可放過1人
就會注重Recall
反之寧願放過100不可錯殺1人
就會注重Precision
如果有別的想法也可以提出~
想請問大家的想法
雖然有f1 score
對於Precision跟Recall
在什麼樣的情境下會怎麼去評估模型呢?
什麼樣的情況會注重哪一個?
謝謝大家~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.252.95.204
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1526665631.A.2AB.html
1F：→ siscon: 完全看情況 看你要解的問題是啥05/19 01:58
2F：→ siscon: 工程上從來就不是越準越好 而是要準到夠用05/19 01:59
3F：推 littleyuan: 看情況。一般來說要有對該領域熟的人提出建議幫忙你下05/19 02:05
4F：→ littleyuan: 決定05/19 02:05
5F：→ ken83715: 也是 夠用就好 只是想知道還有沒有其他類似的情況考慮05/19 02:05
6F：→ ken83715: 其中一個05/19 02:05
7F：→ ken83715: 在教學的時候發現好難舉例XD05/19 02:06
※ 編輯: ken83715 (180.204.33.71), 05/19/2018 02:06:38
8F：推 tsoahans: 在異常檢測就是代表誤報率跟偵錯率 實際還是要看應用 05/19 02:10
9F：→ tsoahans: 一般是在Precision可接受的情況下盡量提高Recall 05/19 02:10
10F：→ tsoahans: 另外你舉的例子 警察也不可能完全相信模型 應該是把模型 05/19 02:14
11F：→ tsoahans: 判斷為犯人的人仔細調查 如果誤判 頂多就浪費一些時間 05/19 02:14
12F：→ tsoahans: 但如果漏抓就會很麻煩 05/19 02:15
13F：→ bestchiao: 原po舉的例子我覺得不錯阿 其實就是一個權衡問題 case 05/19 03:02
14F：→ bestchiao: by case看你著重在哪個目標吧 05/19 03:02
15F：→ Mchord: 身份認證系列基本上FP都要是零，多按幾次指紋完全不影響 05/19 08:58
16F：→ Mchord: 使用 05/19 08:58
17F：→ hsnuyi: 類似的問題hypothesis testing早就討論到爛了 去修大一的 05/19 17:16
18F：→ hsnuyi: 統計學吧 05/19 17:16