作者tsubasawolfy (悠久の翼)
看板AI_Art
標題[StaD] LCM 減少step/加速生成
時間Sun Nov 12 17:26:06 2023
LCM (Latent Consistency Model)
https://github.com/luosiallen/latent-consistency-model
這東西好像兩個禮拜前被丟出來
前天SD.Next的DC公告說正式支援後才玩看看
主要賣點是生成同樣品質的圖只需要4-8步(Steps)
如此一來可以大大加速整個產圖速度，進階大概就搭配正夯的AnimateDiff弄出更多FPS
或者用攝影鏡頭的即時影像轉換可以更流暢
目前是弄成LoRa型式， 或者要自行把把LoRa整合進model轉換成LCM model
SD1.5 LoRA
https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/tree/main
SDXL LoRA
https://huggingface.co/latent-consistency/lcm-lora-sdxl/blob/main/README.md
不管SD1.5或SDXL都說Step 2-8內就可以，不過CFG要限制在1-2內
CFG 1會忽略negative prompt, 2以上圖會焦掉，實際跑大概到3而已
SDXL可以搭配他們的Sampler LCM
SD1.5的測試
T2I原圖
Steps: 20, Sampler: DPM++ 2M, CFG scale: 8, Size: 512x832,
Model: meinapastel_v6Pastel
使用ControlNet+ Latent couple+ Composable LoRA
https://i.imgur.com/3OFIvOT.jpg
加入LCM LoRA 權重設0.5。 因為太高的權重會讓一些model脫色，例如這個meinapastel
設1的話，出來就會帶點藍色濾鏡感覺
把所有extension後測CFG 1-3, Step 4-8
https://i.imgur.com/6vSBkZR.jpg
固定CFG2 Step8 測所有的Sampler
https://i.imgur.com/8Oo8pAI.jpg
採樣器 Euler跟LMS都不錯
跟原圖一樣上ControlNet+ Latent couple+ Composable LoRA Sampler: Euler
https://i.imgur.com/eXuHSeJ.jpg
用是可以用，只是要重找喜歡的Seed了XD
另外如果再加上 HiRES 用latent放大會變成油畫 HiRES step 4-12都長這樣
https://i.imgur.com/BNtsRpi.jpg
SDXL測試
T2I原圖
Steps: 30, Sampler: DPM++ 2M, CFG scale: 7, Size: 1024x1536,
Model: holoanimeXL_v27
https://i.imgur.com/OzwV4ll.jpg
高CFG直接焦掉
https://i.imgur.com/KzIjjJp.jpg
CFG:2 Step:8 測不同Sampler
https://i.imgur.com/90jFhaQ.jpg
這是推薦的採樣器 LCM
https://i.imgur.com/mHJrx6M.jpg
這是Euler
https://i.imgur.com/MZrzM5W.jpg
去除LCM LoRA後一樣用Euler跑
https://i.imgur.com/01c54Zv.jpg
老實說我感覺不到推薦的LCM採樣器優勢在哪...
一樣少步數下Euler或者DPM SDE都比較好
速度看CMD視窗跑調後的數字是一樣
不過LCM LoRA在低步數下的確是提供比較好的圖
CFG:2 Steps:8 Euler
https://i.imgur.com/VVCDMlR.jpg
可以跟上面30 step的原圖比看看值不值得
HiRES下的原圖
HiRES steps: 15, Latent (nearest-exact), Hires upscale: 1.5,
Latent sampler: DPM SDE
https://i.imgur.com/neuYlWm.jpg
HiRES Step: 8, Latent, Hires upscale: 1.5,
Latent sampler: LCM,
https://i.imgur.com/2r32RlU.jpg
Hires下的第二步Latent作圖就沒有加速了，一樣慢
感覺這東西還是給動畫去加速用之類
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.161.113.223 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1699781169.A.291.html
1F：推 avans: 推實用介紹，前幾天才看到OpenAI公開了Consistency Decoder 11/13 00:05
2F：→ avans: 原來SD也實作了相同(?)概念的模型了! 11/13 00:05
3F：→ tsubasawolfy: OpenAI那個好像是dalle3在用的vae. 本體異常肥大外 11/13 07:24
4F：→ tsubasawolfy: 看別人用還要吃掉不少的vram，等別人瘦身跟轉webs 11/13 07:24
5F：→ tsubasawolfy: ite可以用的格式後再玩看看。 11/13 07:24
6F：→ tsubasawolfy: 另外這個LCM的另一個用途大概就讓CPU黨跑SD1.5也有 11/13 07:25
7F：→ tsubasawolfy: 可接受的時間了 11/13 07:25
8F：推 pp520: Nvidia 最新 顯卡driver，允許VRAM不足時用DRAM 支援，爆 11/14 14:53
9F：→ pp520: 顯存成為歷史了 11/14 14:53
10F：推 Kenqr: AMD使用者在牆角抽泣 11/14 16:44
11F：推 pp520: 4060ti 16G 瞬間沒人要了，4070 真香 11/14 17:52
12F：→ Supasizeit: 插爆128G dram時代來臨了 11/14 19:23
13F：→ Supasizeit: 不是 他一旦用了ram就不可逆 所以最近生圖生一生突然 11/14 19:26
14F：→ Supasizeit: 變慢得重啟 就是這個功能害的 11/14 19:26
15F：→ tsubasawolfy: SD版大家問怎麼關的功能你怎麼會想去開 11/14 20:59
16F：→ tsubasawolfy: 讓3090變1.2it/s的東西 11/14 21:00
17F：推 Tosca: 這篇八卦是越來越多人回去玩SD1.5 快笑死SDXL中看不重用 11/15 08:59
18F：→ Tosca: 所以說喔 不容易色色的模型根本沒人要玩 SDXL就是例證 11/15 08:59
19F：推 Supasizeit: XL畫臉很行 身體比1.5差 11/15 11:56
20F：推 waldo870: 我抓了上面的10G檔案，前面成功後面畫都黑圖,不知道原因 11/15 12:12
21F：→ waldo870: ？ 11/15 12:12
22F：→ waldo870: 你上面那2個檔是放lora資料夾嗎？ 11/15 12:12
23F：推 waldo870: 我從引用lora後黑圖，刪了也一直黑，其他模型沒事 11/15 12:15
24F：→ tsubasawolfy: 丟Lora資料夾沒錯 text要引用 11/15 13:25
25F：→ tsubasawolfy: 而且不到10G吧? SD1.5 135MB 11/15 13:26
26F：→ tsubasawolfy: SDXL 394MB 只是兩個都叫pytorch_lora_weights.safe 11/15 13:27
27F：推 waldo870: 他github 有主模型10G 11/15 15:42
28F：推 waldo870: 也有引用lora text,改比重也黑 11/15 15:45
29F：→ waldo870: 我用別的模型用別的lora也沒有問題... 11/15 15:46