作者pppooqqq (pppooqqq)
看板DataScience
标题[问题] bert python 手刻?
时间Tue May 5 14:06:08 2020
作业系统: win10
问题类别: NLP
使用工具: python
问题内容:
理论不强的状况下，感觉看手刻程式最能体会各演算法的运行
目前在看nlp的部份
网路上有看到transformer的手刻
小弟不才，看了程式才知道李宏毅老师是在说什麽
但很多人使用bert，都说是 encoder of transformer
想请问哪里有bert的手刻程式可以看?
还是易懂的文件? 谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 210.59.192.37 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1588658771.A.572.html
2F：推 st1009: bert不是google帮你调好参数的transformer吗？ 05/05 16:31
3F：→ pppooqqq: 对 可以这讲 只是不太懂为什麽是encoder of transformer 05/05 19:50
4F：→ pppooqqq: 我理解transformer的encoder运作，但不晓得bert怎麽用 05/05 19:51
5F：推 st1009: Bert是个被训练好的encoder，所以使用时可以不用训练就可 05/05 20:18
6F：→ st1009: 以达到不错的效果，你可以接在你自己的模型前面然後再进行 05/05 20:19
7F：→ st1009: fine tune(训练)让他对於你现行任务拟合度更高 05/05 20:20
8F：→ st1009: 手刻bert我觉得意义不会太大，因为你没有Google的资源 05/05 20:21
9F：推 sxy67230: 手刻不难啊，就只是transformer encode的部份叠上去， 05/05 21:51
10F：→ sxy67230: 难是难在训练，我自己试过随意找少量资料训练一样mask从 05/05 21:51
11F：→ sxy67230: 零训练整个结果就是烂掉。要做到google那种质量的数据 05/05 21:51
12F：→ sxy67230: 还要有足够的gpu，我自己估算最少也要跑三个月以上，直 05/05 21:51
13F：→ sxy67230: 接用fine tune的用前人智慧不好吗 05/05 21:51
14F：推 sxy67230: 补充一下，预训练过程其实就是跟你做fine tune的过程是 05/05 22:08
15F：→ sxy67230: 一样的，google 当时的作法就是让[CLS]输出上下句是否 05/05 22:08
16F：→ sxy67230: 有关，後面你看到的token embedding做克漏字测验，过程 05/05 22:08
17F：→ sxy67230: 很简单，但是你没有google 那些又大又好的数据集跟运算 05/05 22:08
18F：→ sxy67230: 资源自己训练也是烂掉。 05/05 22:08
19F：推 OnePiecePR: 大金讲得很清楚啊，就是资料灌进 变形金刚，用克漏字 05/06 12:13
20F：→ OnePiecePR: 、关联推论加弱分类器把 encoder 的权位值调到很聪明 05/06 12:13
21F：→ OnePiecePR: 。你拿到後，直接接後段分类器，灌自己的资料，稍稍 05/06 12:13
22F：→ OnePiecePR: 调一下，就没了。 05/06 12:13
23F：→ yoyololicon: 原po要看code 推文在讲怎麽训练zzzz 05/06 13:12
24F：推 world4jason: 他内文讲code 推文讲怎麽用 也很让人误会 05/06 14:03
25F：推 OnePiecePR: 一楼给code连结,可能有用。原po 三四楼说不知道怎麽 05/06 16:39
26F：→ OnePiecePR: 用啊，所以当然大家帮忙解释了 05/06 16:39
27F：→ yoyololicon: 他的用应该是指bert怎麽使用transformer 吧 不是怎 05/07 12:13
28F：→ yoyololicon: 麽使用bert 05/07 12:13