作者gostjoke (鬼笑話)
看板Python
標題[問題] safetensors 轉gguf後 答非所問
時間Wed Sep 11 10:02:11 2024
不好意思 版上有人遇到這個問題嗎?
我之前準備了一個測試訓練 強化某問題(instruction)
模型是 Chinese llama 1.3B
然後再FT 後可以回答出該問題
但用llama.cpp轉gguf後答案整個歪掉 此外原本的許多問題都答不出來或答非所問
有人遇到這個問題嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.202.231.110 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1726020135.A.78E.html
1F：推 DaOppaiLoli: 你要不要附上指令參數，可能跟 prompt format 有關 09/12 07:32
我用llama Factory 訓練的
你是說這個的參數嗎? 但是是轉gguf後才怪怪的 之前沒問題
※ 編輯: gostjoke (73.202.231.110 美國), 09/12/2024 12:40:26
2F：推 DaOppaiLoli: 在 llama factory 文件中似乎沒有提到跟 gguf 有關 09/13 09:00
3F：→ DaOppaiLoli: 的章節，請問你是如何訓練模型並轉換成 gguf 格式的 09/13 09:00
Llama Factory訓練後產生safetensors檔 然後用llama.cpp(去github看)轉
要安裝cmake跟vs2022, 用linux環境會比較簡單
※ 編輯: gostjoke (73.202.231.110 美國), 09/14/2024 00:03:23
4F：推 DaOppaiLoli: 你是用 llama.cpp 的 llama-cli 執行 .gguf 檔的嗎? 09/14 04:08
5F：→ DaOppaiLoli: 你是如何下指令參數的? 09/14 04:08
