作者avans (阿緯)
看板AI_Art
標題[LLMs] Meta 正式推出 Llama 3
時間Sat Apr 20 21:26:37 2024
Meta AI
2023年2月發布Llama
2023年7月發布LLama2
2024年4月發布Llama3
每代都有巨幅的進步
目前公布Llama3 70B的版本甚至與Gemini 1.5 Pro、GPT-4互有輸贏
就連Llama3 8B的版本也完全贏過Llama2 70B
無法想像N年後的Llama還會成長到什麼高度...
下圖是Simon Liu(
https://medium.com/@simon3458/)整理的比較表
https://i.imgur.com/9o57eAI.png
_______________
Meta在Hugging Face公開了8B與70B的models
需要先跟Meta申請使用的審核才能存取模型
https://huggingface.co/collections/meta-llama/
_______________
若想測試在HuggingChat中
設定Meta-Llama-3-70B-Instruct為Active後
就可以線上測試Meta Llama 3了
我線上測試一下這次原生版本
中文懂得比前一代Llama-2還要多不少
https://huggingface.co/chat/
_______________
底下是幾個關於Llama 3的中文介紹
_______________
歡迎 Llama 3：Meta 的新一代開源大語言模型
https://huggingface.co/blog/zh/llama3
[快速帶你看] 世界不能沒有 Meta 來開源 LLM 模型— Llama 3 介紹
https://reurl.cc/ZeQ8nW
最強開源大模型Llama3深夜發佈 - 世界不能沒有Meta / meta才是真正的那個"OpenAI"
https://reurl.cc/LW0e1L
開源 AI 全攻略 - 企業如何善用 Llama 3, Taide 等開源大型語言模型創造競爭優勢
https://www.largitdata.com/blog_detail/20240420
Llama 3 最強開源大語言模型王者歸來，這次表現直逼 GPT-4
https://www.techbang.com/posts/114719-call-3-gpt-4
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.83.155.252 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1713619604.A.663.html
1F：推 guogu: 玩了一下 8B的版本 還不錯 就是中文裡面會夾一點英文比較煩 04/20 23:46
2F：→ avans: 畢竟多語言資料只佔預訓練集5%左右，不過我覺得也還算堪用 04/21 01:39
3F：→ avans: 當回覆的內容都為英文時，也可跟他說將回答翻譯為繁體中文w 04/21 01:42
4F：推 gino0717: 這個可以色! 04/21 20:59
5F：推 wres666: 70b本地跑要多少vram啊？ 04/22 00:24
在reddit上面有相關討論
https://reurl.cc/MOZKv3
https://reurl.cc/jWqKdn
原生的Llama-3-70B safetensors檔案合計141.06G
vram大約就是模型檔案大小
而torch dtype in float16時vram大約是檔案大小除2
目前huggingface已有GGUF的量化版本
使用q4_K(4bit)量化版本大約40G以上
使用q2_K(2bit)量化版本大約21G左右
所以最低限度24G的顯卡是必要的...
GGUF的量化類型可以參考底下說明
https://huggingface.co/docs/hub/gguf#quantization-types
※ 編輯: avans (111.83.155.252 臺灣), 04/22/2024 01:14:03
6F：→ pikachu2421: 用CPU跑 只要ram夠大就行 當然速度偏慢就是了 04/22 08:19
7F：→ marklai: 感謝分享， 線上的70b還不錯用 04/25 09:41