作者e9904567 (晶仔)
看板DataScience
标题同时feed Bert跟TFIDF to Dense layer
时间Tue Oct 27 17:03:31 2020
https://i.imgur.com/IbhEopH.jpg
最近在做一个kaggle challenge, 我们使用Bert 做sentiment analysis， 但准确率只有
60%。网路上有找到一份论文，他们是用weighted TFIDF 做 preprocessing, 然後再进Be
rt的pretrained network。而我们想做的有点不一样，在想说是否可以加入TFIDF进fine
tuning的部分？(如图）
但因爲网路上的讨论多是TFIDF, Bert, word2vec的相互比较，好像很少一起合并使用。
所以想来问一下这个构想的合理性？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 130.83.136.15 (德国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1603789413.A.A9E.html
1F：推 steven95421: 个人经验觉得bert在downstream task fine tune 的时 10/27 20:56
2F：→ steven95421: 候後面额外接什麽做end2end的training都很容易坏qq 10/27 20:56
3F：推 a75468: Bert 有跟 downstream 一起 finetune 吗？ 10/27 21:25
4F：→ e9904567: 感谢经验分享，我们会再找找其他方式 10/28 05:23
5F：推 luli0034: fine tune会回去update BERT里面的parameters吧 如果像 10/28 12:03
6F：→ luli0034: 图片这样用feature-based的做法concat TFIDF这样有办法b 10/28 12:03
7F：→ luli0034: ack propagation吗（？ 10/28 12:03
8F：推 luli0034: 我自己的经验这样做的话就是将BERT当作一个representati 10/28 12:05
9F：→ luli0034: on跟其他representation 结合训练下游分类器了XD 不太 10/28 12:05
10F：→ luli0034: 像fine tune 10/28 12:05