作者gostjoke (鬼笑话)
看板Python
标题[问题] safetensors 转gguf後 答非所问
时间Wed Sep 11 10:02:11 2024
不好意思 版上有人遇到这个问题吗?
我之前准备了一个测试训练 强化某问题(instruction)
模型是 Chinese llama 1.3B
然後再FT 後可以回答出该问题
但用llama.cpp转gguf後答案整个歪掉 此外原本的许多问题都答不出来或答非所问
有人遇到这个问题吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 73.202.231.110 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1726020135.A.78E.html
1F:推 DaOppaiLoli: 你要不要附上指令参数,可能跟 prompt format 有关 09/12 07:32
我用llama Factory 训练的
你是说这个的参数吗? 但是是转gguf後才怪怪的 之前没问题
※ 编辑: gostjoke (73.202.231.110 美国), 09/12/2024 12:40:26
2F:推 DaOppaiLoli: 在 llama factory 文件中似乎没有提到跟 gguf 有关 09/13 09:00
3F:→ DaOppaiLoli: 的章节,请问你是如何训练模型并转换成 gguf 格式的 09/13 09:00
Llama Factory训练後产生safetensors档 然後用llama.cpp(去github看)转
要安装cmake跟vs2022, 用linux环境会比较简单
※ 编辑: gostjoke (73.202.231.110 美国), 09/14/2024 00:03:23
4F:推 DaOppaiLoli: 你是用 llama.cpp 的 llama-cli 执行 .gguf 档的吗? 09/14 04:08
5F:→ DaOppaiLoli: 你是如何下指令参数的? 09/14 04:08