作者saces (saces)
看板AI_Art
標題[分享] 用SD穩定生產MJ畫風的嘗試
時間Sun Jan 1 07:53:30 2023
看到有人在問MJ怎麼維持畫風或角色
所以分享一下我的實驗
不過我對Stable diffusion 也沒有很熟
首先找一張想複製畫風的圖
建議最好是1:1的圖 或是你要把它裁成1:1
理由後面說
這裡使用這張
https://i.imgur.com/VqeVLOP.jpg
我在Upscale 的時候 會upscale 3-4次
然後用photoshop 把它合成一張
留下每張的優點
因為我不想要把它裁小 所以是用Dalle2的outpainting 把它變成1:1 (不建議這樣做)
https://i.imgur.com/p5VPLjX.jpg
接著把想複製的圖傳到Discord 當作image prompt, 加上你原本用來產這張圖的prompt,
文字可以稍微修改一些地方
我用2:3的比例 選了五張畫風相似的圖
也是都upscale 好幾次 再PS結合 調色 讓圖更一致
再用Dalle2 outpating變成1:1 (不建議這樣,最好一開始就是1:1的圖)
https://i.imgur.com/b2cJEim.jpg
https://i.imgur.com/R4ot4f9.jpg
https://i.imgur.com/SdZ69t6.jpg
https://i.imgur.com/6B2j75L.jpg
https://i.imgur.com/5IQE9TA.jpg
這五張加上原本那張 就是要用來訓練的圖
如果可以有更多圖 或是更多同畫風不同主題的圖
應該會更好
接著就是用Stable diffusion
我是用Reddit上找的automatic 1111 webui簡易安裝
因為要複製MJ畫風所以我是用openjourney模型去訓練
訓練方式可以參考這個YouTube 影片
https://youtu.be/HahKXY7AQ8c
六張圖本地訓練大概十分鐘
我的顯卡是3080
結果
https://i.imgur.com/LOFdQPm.jpg
可以發現雖然經過Dalle2 outpainting
肉眼看不出明顯破綻 但訓練出的模型
有些圖還是會看的出切痕
所以建議直接找1:1的圖
不過我覺得訓練結果還是蠻成功的
甚至雖然訓練的資料只有年輕男性
但出來的模型也可以適用其他物體
https://i.imgur.com/ke8FWoE.jpg
https://i.imgur.com/Eoq0qf4.jpg
https://i.imgur.com/pkOPr9X.jpg
https://i.imgur.com/jUUPwiF.jpg
https://i.imgur.com/9PTdmJl.jpg
https://i.imgur.com/fPCEzdB.jpg
https://i.imgur.com/J92nuCN.jpg
明星名字也適用
https://i.imgur.com/LmnmzDM.jpg
為了證明模型訓練的確有影響
這張和花那張是使用同樣的關鍵字
但模型是用來訓練的open journey
https://i.imgur.com/O9dhdab.jpg
差別還是蠻明顯的
這是我第一次實驗 MJ 結合 SD
感覺還有蠻多改善空間的
如果有擅長dreambooth 的大大
也希望可以分享一下心得
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.117.203 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1672530812.A.28D.html
1F:推 ZMTL: 這個想法太有創意了!01/01 08:01
2F:推 ZMTL: PS的部分會很難學嗎XDDDDD01/01 08:05
應該是不會,因為我PS也只看過兩三小時的網課而已。但我還學過substance painter 邏
輯有點像
其實用免費的GIMP也可以達到差不多的效果,就是兩張圖以圖層疊在一起,其中一個用ma
sk隱藏,接著選擇mask用 白色畫筆在想要讓他顯現的部分畫 就會顯現出來
其實這也不是必須的 只是我Dataset 太小 所以希望圖的品質好一點 MJ現在的Upscaler
又還不夠好 有時候眼睛漂亮但鼻子歪了之類,直接合成就會比一直重複Upscale來的快
※ 編輯: saces (1.169.117.203 臺灣), 01/01/2023 08:15:56
3F:推 ryu55ryu55: 好多肌肉帥哥 好愛<301/01 08:14
4F:推 ZMTL: 我真的沒想過可以up好幾張來合成,我昨天(上面那個)up到崩潰01/01 08:19
5F:→ ZMTL: 好幾張都這邊差一點那邊差一點XD01/01 08:19
6F:→ ZMTL: 突然有點後悔我生完大圖習慣把四格清掉啊啊啊01/01 08:34
7F:推 ZMTL: 有機會的話可以來一段Ps x Upsalce的影片教學XD01/01 08:35
8F:推 Vulpix: 花那兩張seed也一樣嗎?01/01 16:49
9F:推 mayasoo: 其實也可以訓練embanding或者hypernetwork,效果比較微妙01/01 17:31
Seed不一樣
用同樣的seed的測試
1
訓練模型
https://i.imgur.com/FQERxeJ.jpg
Open journey
https://i.imgur.com/SFY1it2.jpg
2
訓練模型
https://i.imgur.com/LtAziyg.jpg
Open journey
https://i.imgur.com/eqwikEq.jpg
※ 編輯: saces (1.169.117.203 臺灣), 01/01/2023 18:45:51
10F:推 Vulpix: 訓練模型花那個粉嫩的感覺真的不錯。 01/01 19:56
11F:→ Vulpix: 只是人臉率怎麼差那麼多XD 01/01 19:57
12F:推 zemill: 厲害 01/13 20:21
13F:推 zemill: 厲害! 01/13 20:23