作者pppooqqq (pppooqqq)
看板DataScience
標題[問題] bert python 手刻?
時間Tue May 5 14:06:08 2020
作業系統: win10
問題類別: NLP
使用工具: python
問題內容:
理論不強的狀況下，感覺看手刻程式最能體會各演算法的運行
目前在看nlp的部份
網路上有看到transformer的手刻
小弟不才，看了程式才知道李宏毅老師是在說什麼
但很多人使用bert，都說是 encoder of transformer
想請問哪裡有bert的手刻程式可以看?
還是易懂的文件? 謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 210.59.192.37 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1588658771.A.572.html
2F：推 st1009: bert不是google幫你調好參數的transformer嗎？ 05/05 16:31
3F：→ pppooqqq: 對 可以這講 只是不太懂為什麼是encoder of transformer 05/05 19:50
4F：→ pppooqqq: 我理解transformer的encoder運作，但不曉得bert怎麼用 05/05 19:51
5F：推 st1009: Bert是個被訓練好的encoder，所以使用時可以不用訓練就可 05/05 20:18
6F：→ st1009: 以達到不錯的效果，你可以接在你自己的模型前面然後再進行 05/05 20:19
7F：→ st1009: fine tune(訓練)讓他對於你現行任務擬合度更高 05/05 20:20
8F：→ st1009: 手刻bert我覺得意義不會太大，因為你沒有Google的資源 05/05 20:21
9F：推 sxy67230: 手刻不難啊，就只是transformer encode的部份疊上去， 05/05 21:51
10F：→ sxy67230: 難是難在訓練，我自己試過隨意找少量資料訓練一樣mask從 05/05 21:51
11F：→ sxy67230: 零訓練整個結果就是爛掉。要做到google那種質量的數據 05/05 21:51
12F：→ sxy67230: 還要有足夠的gpu，我自己估算最少也要跑三個月以上，直 05/05 21:51
13F：→ sxy67230: 接用fine tune的用前人智慧不好嗎 05/05 21:51
14F：推 sxy67230: 補充一下，預訓練過程其實就是跟你做fine tune的過程是 05/05 22:08
15F：→ sxy67230: 一樣的，google 當時的作法就是讓[CLS]輸出上下句是否 05/05 22:08
16F：→ sxy67230: 有關，後面你看到的token embedding做克漏字測驗，過程 05/05 22:08
17F：→ sxy67230: 很簡單，但是你沒有google 那些又大又好的數據集跟運算 05/05 22:08
18F：→ sxy67230: 資源自己訓練也是爛掉。 05/05 22:08
19F：推 OnePiecePR: 大金講得很清楚啊，就是資料灌進 變形金剛，用克漏字 05/06 12:13
20F：→ OnePiecePR: 、關聯推論加弱分類器把 encoder 的權位值調到很聰明 05/06 12:13
21F：→ OnePiecePR: 。你拿到後，直接接後段分類器，灌自己的資料，稍稍 05/06 12:13
22F：→ OnePiecePR: 調一下，就沒了。 05/06 12:13
23F：→ yoyololicon: 原po要看code 推文在講怎麼訓練zzzz 05/06 13:12
24F：推 world4jason: 他內文講code 推文講怎麼用 也很讓人誤會 05/06 14:03
25F：推 OnePiecePR: 一樓給code連結,可能有用。原po 三四樓說不知道怎麼 05/06 16:39
26F：→ OnePiecePR: 用啊，所以當然大家幫忙解釋了 05/06 16:39
27F：→ yoyololicon: 他的用應該是指bert怎麼使用transformer 吧 不是怎 05/07 12:13
28F：→ yoyololicon: 麼使用bert 05/07 12:13