作者e9904567 (晶仔)
看板DataScience
標題同時feed Bert跟TFIDF to Dense layer
時間Tue Oct 27 17:03:31 2020
https://i.imgur.com/IbhEopH.jpg
最近在做一個kaggle challenge, 我們使用Bert 做sentiment analysis， 但準確率只有
60%。網路上有找到一份論文，他們是用weighted TFIDF 做 preprocessing, 然後再進Be
rt的pretrained network。而我們想做的有點不一樣，在想說是否可以加入TFIDF進fine
tuning的部分？(如圖）
但因爲網路上的討論多是TFIDF, Bert, word2vec的相互比較，好像很少一起合併使用。
所以想來問一下這個構想的合理性？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 130.83.136.15 (德國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1603789413.A.A9E.html
1F：推 steven95421: 個人經驗覺得bert在downstream task fine tune 的時 10/27 20:56
2F：→ steven95421: 候後面額外接什麼做end2end的training都很容易壞qq 10/27 20:56
3F：推 a75468: Bert 有跟 downstream 一起 finetune 嗎？ 10/27 21:25
4F：→ e9904567: 感謝經驗分享，我們會再找找其他方式 10/28 05:23
5F：推 luli0034: fine tune會回去update BERT裡面的parameters吧 如果像 10/28 12:03
6F：→ luli0034: 圖片這樣用feature-based的做法concat TFIDF這樣有辦法b 10/28 12:03
7F：→ luli0034: ack propagation嗎（？ 10/28 12:03
8F：推 luli0034: 我自己的經驗這樣做的話就是將BERT當作一個representati 10/28 12:05
9F：→ luli0034: on跟其他representation 結合訓練下游分類器了XD 不太 10/28 12:05
10F：→ luli0034: 像fine tune 10/28 12:05