作者avans (阿纬)
看板AI_Art
标题[LLMs] Meta 正式推出 Llama 3
时间Sat Apr 20 21:26:37 2024
Meta AI
2023年2月发布Llama
2023年7月发布LLama2
2024年4月发布Llama3
每代都有巨幅的进步
目前公布Llama3 70B的版本甚至与Gemini 1.5 Pro、GPT-4互有输赢
就连Llama3 8B的版本也完全赢过Llama2 70B
无法想像N年後的Llama还会成长到什麽高度...
下图是Simon Liu(
https://medium.com/@simon3458/)整理的比较表
https://i.imgur.com/9o57eAI.png
_______________
Meta在Hugging Face公开了8B与70B的models
需要先跟Meta申请使用的审核才能存取模型
https://huggingface.co/collections/meta-llama/
_______________
若想测试在HuggingChat中
设定Meta-Llama-3-70B-Instruct为Active後
就可以线上测试Meta Llama 3了
我线上测试一下这次原生版本
中文懂得比前一代Llama-2还要多不少
https://huggingface.co/chat/
_______________
底下是几个关於Llama 3的中文介绍
_______________
欢迎 Llama 3：Meta 的新一代开源大语言模型
https://huggingface.co/blog/zh/llama3
[快速带你看] 世界不能没有 Meta 来开源 LLM 模型— Llama 3 介绍
https://reurl.cc/ZeQ8nW
最强开源大模型Llama3深夜发布 - 世界不能没有Meta / meta才是真正的那个"OpenAI"
https://reurl.cc/LW0e1L
开源 AI 全攻略 - 企业如何善用 Llama 3, Taide 等开源大型语言模型创造竞争优势
https://www.largitdata.com/blog_detail/20240420
Llama 3 最强开源大语言模型王者归来，这次表现直逼 GPT-4
https://www.techbang.com/posts/114719-call-3-gpt-4
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.83.155.252 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1713619604.A.663.html
1F：推 guogu: 玩了一下 8B的版本 还不错 就是中文里面会夹一点英文比较烦 04/20 23:46
2F：→ avans: 毕竟多语言资料只占预训练集5%左右，不过我觉得也还算堪用 04/21 01:39
3F：→ avans: 当回覆的内容都为英文时，也可跟他说将回答翻译为繁体中文w 04/21 01:42
4F：推 gino0717: 这个可以色! 04/21 20:59
5F：推 wres666: 70b本地跑要多少vram啊？ 04/22 00:24
在reddit上面有相关讨论
https://reurl.cc/MOZKv3
https://reurl.cc/jWqKdn
原生的Llama-3-70B safetensors档案合计141.06G
vram大约就是模型档案大小
而torch dtype in float16时vram大约是档案大小除2
目前huggingface已有GGUF的量化版本
使用q4_K(4bit)量化版本大约40G以上
使用q2_K(2bit)量化版本大约21G左右
所以最低限度24G的显卡是必要的...
GGUF的量化类型可以参考底下说明
https://huggingface.co/docs/hub/gguf#quantization-types
※ 编辑: avans (111.83.155.252 台湾), 04/22/2024 01:14:03
6F：→ pikachu2421: 用CPU跑 只要ram够大就行 当然速度偏慢就是了 04/22 08:19
7F：→ marklai: 感谢分享， 线上的70b还不错用 04/25 09:41