作者aPplAus (燦爛)
看板Stock
標題Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」
時間Wed Apr 10 20:38:57 2024
原文恕刪
小弟剛好最近有跟到一些台灣LLM的發展，可以補充一下關於模型的部分。聯發科的研究
單位聯發創新基地，做語言模型有一段時間了，之前有一版Breeze-7B模型，發佈了一篇
技術論文放在arxiv：
https://arxiv.org/pdf/2403.02712.pdf
論文提到這個模型是從mistral-7B 繼續訓練而成，花了7000小時的H100，灌了650GB的da
ta。如果有一半是中文，325GB，也灌了超過1000億漢字（3bytes=1word)，其實很多了啦
。
然後Breexe是從Mixtral訓練而成，是更大一級的模型，論文好像還沒出，但很多公司都
有不同大小的模型，做法應該不會差太多（？）。最近有開放API試用：
https://huggingface.co/MediaTek-Research/Breexe-8x7B-Instruct-v0_1
跟ChatGPT的比較，最重要的點應該是，像Breeze-7B這種已經開源的模型，對能架伺服器
的公司來說，是用越多越賺；跟token收費的ChatGPT 用越多越貴截然不同。Breexe不知
道會不會開源就是了。
達哥的部分，沒有親自用過，但有認識的人用過。基本上就是平台，然後有一些功能，像
是讀pdf等等。就把AI推廣給更多人的東西，應該是不錯啦。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.35.85 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1712752740.A.F57.html
1F：推 stlinman : 開源的 Breeze-7B 我是玩一下過，感覺還不錯! 04/10 20:42
2F：→ stlinman : 試 04/10 20:43
3F：推 tomdavis : 推介紹! 04/10 20:43
4F：推 addy7533967 : 推推 04/10 20:48
5F：推 xm3u4vmp6 : 一看到h100 直接冷掉 一半人根本玩不起QQ 04/10 20:50
6F：推 Sixigma : 做隔壁專業的，好奇這樣子也會有 emerging ability 04/10 20:52
7F：→ Sixigma : 嗎，其實它變單一語種而且是繁中，和原始模型不能算 04/10 20:52
8F：→ Sixigma : 同個東西了吧，而且英語的普及度又遠大於繁中，很多 04/10 20:53
9F：→ Sixigma : 問題會受限吧，那個benchmark和GPT3.5也差一截 04/10 20:54
10F：噓 damn1120 : 可以幫文組翻譯嗎 救命-.- 04/10 21:00
11F：推 stlinman : 重點是企業設置私有AI模型運用，要能合規法循。所以 04/10 21:05
12F：→ stlinman : 繁中未來還是有一定的市場可以開發。 04/10 21:06
13F：推 turndown4wat: 這樣發哥明天是漲還是跌? 04/10 21:08
14F：推 avali : 聯發哥2000 04/10 21:15
15F：推 Morphee : 這東西開發跟上好處很多 值得值得 04/10 21:21
16F：→ Morphee : 受限沒關係啊 跟上就好 04/10 21:21
17F：推 bj45566 : Mistral AI 這家法國新創有前途啊，微軟都要琵琶別 04/10 21:29
18F：→ bj45566 : 抱了 04/10 21:29
19F：→ bj45566 : 發哥有眼光 04/10 21:30
20F：推 napyang : 個人覺得繁體中文最強的開源就是breeze 7B了，回答 04/10 21:35
21F：→ napyang : 的都滿好的。 04/10 21:35
22F：推 fukku100 : 特點除了繁體，可以針對臺灣的內容回答得不錯 04/10 21:56
23F：推 Isopod : 達哥也不是功能啦，大部分就是挑好model然後寫好pro 04/10 22:00
24F：→ Isopod : mpt來做各種事情 04/10 22:00
25F：推 coffee112 : 推推 04/10 22:04
26F：推 Ken52039 : 未來股王 04/10 22:05
27F：推 stevegood : 講實話工作上能用很不錯 04/10 22:41
28F：推 wayne0530 : 繁中最大資料庫，是否能用ptt內的文章來灌進去訓練 04/10 23:06
29F：推 Surrey00 : 推推 04/11 00:29
30F：推 qwe78971 : 果然是拿開源拿來改== 給我一台H100 我也行 04/11 01:19
31F：→ greatwu : 聞西，要你命3000，訊號來了 04/11 07:22