作者del680202 (HANA)
看板DataScience
標題[問題] 數據少時如何做文章分類
時間Tue Feb 18 23:45:54 2020
最近替人研究怎麼做文章分類
手中拿到數據有約100篇文章 分了十幾個類別
不知是數據太少了 參考某篇用nltk+svm的範例
分對機率非常之低 幾乎是亂猜
用sklearn給的news數據測試倒是表現還蠻好的
目前在想有什麼對策
請對方給更多數據嗎 好像短期內也沒辦法
有想說找找few shot learning 方法 不過沒有很清晰的方向
對方有提到或者不分類直接從文章抽取tag當類別
目前有想到用專有名詞抽取的算法去做做看
不知道可不可行
還請高手指點
-----
Sent from JPTT on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 126.182.12.56 (日本)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1582040756.A.6CA.html
※ 編輯: del680202 (126.182.12.56 日本), 02/18/2020 23:51:06
※ 編輯: del680202 (126.182.12.56 日本), 02/18/2020 23:53:22
1F：推 itis0423: BERT 02/19 21:10
2F：→ linfeelin: 可以用PAN dataset 02/20 00:52
3F：推 kokolotl: bert可以直接拿Bert as service來用 02/20 10:01
4F：推 sxy67230: few shot learning 其實就是把原本分類的問題變成一個 02/20 16:01
5F：→ sxy67230: 比較的問題，自然就會增加很多可訓練資料。 02/20 16:01
6F：推 sxy67230: 不過我建議是你可以先對他提供的文章做初步的分析，看 02/20 16:05
7F：→ sxy67230: 看feature夠不夠明確，是不是有辦法透過關鍵字增加featu 02/20 16:05
8F：→ sxy67230: re 來分類。直接拿bert做fine tune 也是可以。 02/20 16:05
9F：→ del680202: 感謝各位的意見 我去找找bert相關的資料來切入 02/20 21:39
10F：推 sxy67230: 其實如果你是用python 我推薦你一個叫snorkel的套件， 02/21 18:40
11F：→ sxy67230: 基本上就是一個weak supervised learning 的模塊，可以 02/21 18:40
12F：→ sxy67230: 用一些規則方式幫你做文字分析，在用多種規則聯合推理 02/21 18:40
13F：→ sxy67230: 資料分布，在訓練模型。另外，他還有資料增生的範例， 02/21 18:40
14F：→ sxy67230: 對你一定有幫助 02/21 18:40
15F：推 erre: 掰陳用svr只需要一間房子用電量就可以預測了！ 02/22 08:25
16F：推 erre: 試試看call svm 02/22 08:56
17F：推 ypsc: 直接用文章內容分效果很差 要先parse出一些可以作為參考特徵 02/23 20:24
18F：→ ypsc: 再去作分類器 效果比較好 02/23 20:24
19F：推 ctr1: erre ㄋㄊㄇ亂回文回爽沒 02/24 08:29
20F：推 goldflower: 該永桶了ㄅ= = 02/26 08:43
21F：推 st1009: 有人要蒐集證據向板主檢舉嗎(? 02/26 11:49
22F：推 roccqqck: 他到處多恨交大andrew chen 02/26 13:04
23F：→ roccqqck: 到底 02/26 13:05
24F：→ goldflower: 居然有人知道他在說誰XDDDD 02/26 22:58
25F：推 luli0034: SVM對小量資料比較不友善 support vectors不夠具代表性 05/05 13:09
26F：→ luli0034: 的話分類準確度不好 少量資料可以靠pretrained 在大量 05/05 13:09
27F：→ luli0034: 文本上的shallow embedding去些微提升 或者做些基本的da 05/05 13:09
28F：→ luli0034: ta augmentation (提升有限） 05/05 13:09
29F：→ luli0034: 是說資料的語言是？ 05/05 13:10
30F：推 popo14777: 可用SVDD 支援向量資料描述 05/17 21:43