作者wargods8402 (維尼X維尼)
看板DataScience
標題[問題] 影片辨識率的設計準則
時間Mon Jul 29 12:46:29 2019
各位先進好，
想請問各位在訓練完權重後
下去跑影片辨識
跑完後該怎麼去計算辨識率呢？
或是有沒有一個評分系統呢？
如果我的Dataset有提供一個測試集，裡面有標記好的正確答案。
這樣進行辨識後，應該如何去做“標準答案”與“辨識結果”兩個之間的評分呢？
謝謝各位先進
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.8.0.243 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1564375591.A.A22.html
1F：推 jackwang01: Accuracy MAP 等等都可07/29 12:59
前輩說的的確是。
accuracy是指在某個frame中，一共辨識到的物件/全部的物件，不知道我的理解有沒有錯
誤？
mAP用到的是資料統計的部分，目前還在讀，目前已經有工具可以計算訓練好的權重，其m
AP為多少。
但是，我想針對的是辨識結果來做評分。
另外，我在想的問題是：
當今天我的標準答案在frame 1時，一共標註了5個物件，分別是3台車、2個人；辨識後的
結果在frame 1時，一共標註了4個物件，分別是2台車、1個人。
這樣的話，
第一步，我應該去對兩個框做比對。
第二步，比對辨識後的類別是否正確 。
第三步，計算IoU。
第四步，輸出結果。
重複上述步驟，直到影片讀取完畢。
問題來了：
1.這樣少辨識到一台車，應該怎麼計算評分？
2.在比對的過程，標準答案中如果有兩個相同的物件非常接近。然而，辨識結果卻把兩個
物件視為同一個物件的話，這樣又應該如何計分呢？
※ 編輯: wargods8402 (163.21.76.158 臺灣), 07/29/2019 14:11:36
2F：推 truehero: 先去弄懂mAP07/29 14:43
3F：推 truehero: 如果有特別需要 就再自己修改 07/29 14:48
4F：→ jackwang01: 如果是這樣的case就自己設計，例如每個預測出來的box07/29 18:47
5F：→ jackwang01: 都去match一個真實資料（用iou)，然後可以算 miss det 07/29 18:47
6F：→ jackwang01: ection 跟false alarm，這樣的數字應該會比mAP來的更07/29 18:47
7F：→ jackwang01: 讓人一看數字就理解07/29 18:47
8F：→ jackwang01: 例如原本是辨識車，分別統計正確match車、有match但07/29 18:51
9F：→ jackwang01: 辨識錯類別、完全漏掉一台車、把一台車辨識成其他東07/29 18:51
10F：→ jackwang01: 西等等這些數據當作評分 07/29 18:51
對對對！我要的就類似這樣，所以才想上來問問看，不知道有沒有這樣的評分系統或是諸
如此類的計算工具，感謝
※ 編輯: wargods8402 (39.11.71.199 臺灣), 07/29/2019 20:57:53
11F：→ jackwang01: 基本上我都是自己寫，算出每張frame的統計再平均一下07/29 21:42
12F：→ jackwang01: 就很有用了07/29 21:42
那可以跟您請教這種的評分方式，您是怎麼計分的嗎@@？謝謝
※ 編輯: wargods8402 (39.11.71.199 臺灣), 07/29/2019 22:09:37
13F：→ jackwang01: 就像我上面說的啊，把每一種可能用到的情況都統計出07/30 00:59
14F：→ jackwang01: 來，如果你的應用可以接受漏標但是不能接受誤判，那就07/30 00:59
15F：→ jackwang01: 用 false alarm低的，反之如果希望盡量不要漏標，就挑07/30 00:59
16F：→ jackwang01: miss detection 低的，一切都看個人應用 07/30 00:59
應該是說，如果在多個評分的標準下，這樣會產生多個分數出來。並不是只有一個分數而
已，不知道這樣解釋對不對，謝謝
※ 編輯: wargods8402 (163.21.76.158 臺灣), 07/30/2019 12:12:28
17F：→ jackwang01: 是的 07/30 18:07
18F：→ jackwang01: 也是有類似f1-score之類的可以參考看看，不過通常每 07/30 18:09
19F：→ jackwang01: 項分開看我覺得更有用一些 07/30 18:09