今天整理的資訊，也分享一份簡易版本在板上， 這部分自己研究自己理解會有點複雜，部分內容來自台灣智慧雲端的AI超算年會。 － 1.台灣有兩個「繁體中文語言模型」 分別是 聯發科 & 教育部國家教育研究院 & 中央研究院詞庫小組 的 BLOOM-Zh(繁體中文增強型BLOOM模型) 跟 華碩 & 科技部國家實驗研究院國家高速網路與計算中心中心 = 台灣智慧雲端 的 FFM(Formosa Foundation Model, 福爾摩沙基礎語言模型 ,或稱台智雲版的繁中BLOOM) 對，台灣的兩個繁體中文語言模型都是源自於開源的BLOOM語言模型，非純中文模型， 而且兩個模型的研發單位跟資料來源都不同，但又都同時具有官方背景。 － 2.開源的BLOOM語言模型介紹 全稱: BigScience Large Open-science Open-access Multilingual Language Model 主導公司 Hugging Face 在2022.05啟動的專案，由全球60個國家、逾250個機構， 以及超過1,000名研究人員的貢獻，最後由法國超級電腦Jean Zay執行117天的訓練而成。 https://huggingface.co/bigscience/bloom https://images.plurk.com/2qBw9sRFznxBhnObkBiPtq.png 最大的版本具有 176B(1760億) 參數，對照組GPT3:175B / GPT3.5: 200B BLOOM模型可理解46種語言及13種程式語言，包含法文、西班牙文、越南文、中文或多種 印度及非洲語言，大約只有超過30%的訓練資料為英文(但缺少德文、日文、俄文)。 能要求BLOOM撰寫食譜、翻譯或摘要，也能要求BLOOM撰寫程式碼。 https://www.ithome.com.tw/news/151935 https://edge.aif.tw/hhri-20230223-stevechen/ 釋出的版本包含 BLOOM-560m / 1b1 / 1b7 / 3b / 7b1 / 176b ，b = billion，參數量 176B版本有約等於GPT3.5的同級水準。 簡體中文語料占比16.2% 繁體中文語料占比0.05% https://images.plurk.com/7iD8Y7Dz4p6vNlUtNAPiYC.png https://huggingface.co/docs/transformers/model_doc/bloom https://huggingface.co/bigscience/bloom/blob/main/README.md * 語言模型的開源通常包含以下內容 模型的架構：也就是該模型的基本設計，包括它是如何構建的、如何運作的等。 訓練程式 ：這是用來訓練模型的程式，它定義了如何使用數據來訓練模型。 預訓練模型：這是一種已經過訓練的模型，用戶可以直接使用它來生成文本或者在特 定的任務上進行微調。 但需要注意的是，開源並不意味著訓練數據也被公開。 (以上文字from GPT4 Web Browsing) － 3.BLOOM-Zh 語言模型介紹 第一個繁體中文(特化)語言模型，分為1b1版跟3b版，改自 BLOOM-1b1 / BLOOM-3b， 開源在 Hugging Face，也是唯一開源的繁體中文語言模型，3b版公開日期 2023.04， 預期使用情境包含問答系統、文字編修、廣告文案生成、華語教學、客服系統 https://huggingface.co/ckip-joint/bloom-3b-zh 2022年5月，聯發創新基地、中央研究院和國家教育研究院展開合作計畫，使用大型語言 模型BLOOM的繁體中文模型再訓練與優化。 聯發創新基地則建置了訓練的硬體環境，制訂各種符合國際標準的繁體中文評量指標，收 集更近期的語料，並對模型進行能更有效讀懂使用者的指示（prompt）的特別訓練。 國家教育研究院提供了大量高品質的繁體中文語料，作為主要的訓練材料。中央研究院詞 庫小組則針對模型生成的文字是否具有偏見或敵意等不合適的內容，進行自動偵測與改正 的研究與評估。 https://www.nownews.com/news/6063736 https://ezone.ulifestyle.com.hk/article/3517038 中研院詞庫小組是台灣負責研究繁體中文自然語言處理的研究單位， 曾在2019年開發並公開BERT和GPT-2的繁體中文優化版本。 具體做的事情可以參考下面這篇 【斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？】 https://aiacademy.tw/what-is-nlp-natural-language-processing/ 實際上效果... https://images.plurk.com/5Nwi4czISV7b6TYLhWZxs8.png 沒意外就是之前很多人說"很爛的繁中BLOOM模型" － 4.台智雲 FFM 語言模型介紹 第一個企業級繁體中文(特化)大型語言模型， 分為7b1版跟176b版，改自 BLOOM-7b1 / BLOOM-176b，據說有個500b的版本。 正式發表於2023.05，之前都稱為台智雲(TWS)版的繁中BLOOM模型，預計2023.07上線， 僅對企業用戶，沒有打算開放民用。 https://tws.twcc.ai/ai-llm/ (未更新FFM資料) https://www.youtube.com/watch?v=ay1AinPNaBs&t=96s (2023.02的早期介紹影片) 2018年，科技部國研院國網中心結合廣達、台灣大、華碩等三大國內企業共同組隊建造的 「雲端服務及大數據運算設施暨整合式階層儲存系統」（簡稱AI雲端平台/ 臺灣AI雲 TWCC），擁有命名為「台灣杉二號」（TAIWANIA 2）的AI超級電腦主機。 2021年2月成立，華碩集團子公司，與國家高速網路與計算中心合作，承作TWCC的維運和 銷售。華碩身為台智雲最大股東，台智雲董事長由華碩營運長謝明傑兼任，而台智雲總經理由華 碩雲端總座吳漢章擔任。 台灣大、兆豐金和永豐金合計投資共1.3億元，成為高科技業、電信資通、金融證券三強 鼎立的多元股東結構。 https://images.plurk.com/3nyYXfyUVnMTEMul6Gqbxb.png http://www.genetinfo.com/investment/featured/item/37784.html https://www.clarisonic.com.tw/archives/64649 資料來源是意藍資訊有限公司， 意藍資訊有限公司是一間專業在分析台灣產業與社群的公司， 幾乎囊括台灣各大社群平台的使用者公開資料，專注在產業應用與社群分析上。 https://images.plurk.com/1arTjoKZ00R82O614Tbjsc.png https://www.eland.com.tw/ FFM Demo起來的感覺粗估有達到GPT 3.5的水準，同時對於台灣具有相當多的事實資訊， 包括台灣的地理與歷史資訊、商業品牌與市場資訊、文化資訊等等。 主打企業可以針對訓練模型、本地存放、符合台灣資安與法規需求等等。 現場一些Demo與投影片畫面: https://images.plurk.com/2MYAIt9XLhn76VKbdGxsx0.png https://images.plurk.com/11oRzMol8ASfgG4teMvCrB.png https://images.plurk.com/DSlxBdEbuAnKYw8oVWeb6.png https://ithome.com.tw/news/156934 https://images.plurk.com/3oba15qvtTT00CqkFz4I6J.png https://images.plurk.com/3RZda9yAXseTqBSdvKeWIn.png https://images.plurk.com/7livkx0dYvbV6aOF4PQE6D.png https://images.plurk.com/5Rw06HI9QudUMXyv6EFYMy.png https://images.plurk.com/dn7Vc29N9DbFd2a1NseH1.png https://images.plurk.com/29jyqilxZHEfF7L4UwpQ0A.png https://images.plurk.com/2vaYCZUa4Vee95TVtYU72O.png 生成式AI市場數據 https://images.plurk.com/1iRdK0weumTW7deHwUYEJJ.png https://images.plurk.com/2bvMJedSS4w3rQQo79OPT.png 剩下的整理報告我就不貼了，因為不能民用所以跟大部分的使用者其實也沒什麼關係XD 主要就是幫大家區分一下繁體中文語言模型的區別，不然讀起來很混亂。 有興趣歡迎提問。 -- AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題！ AI情報屋營業中 噗浪：https://www.plurk.com/Zaious IG ：https://www.instagram.com/zaious.design/ 日曆：https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.61.231 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1684735647.A.E3F.html 沒差，我只是發了都發了就慢慢補完XD ※ 編輯: ZMTL (60.250.61.231 臺灣), 05/22/2023 15:35:59 ※ 編輯: ZMTL (59.124.87.90 臺灣), 05/23/2023 11:37:47