個人是個興趣使然的模型訓練師 目前訓練了不少dreambooth https://huggingface.co/alea31415/ 圖也有丟pixiv (含18禁 但這樣能做到的成果差強人意 鑒於別人來自深淵 小書癡 孤獨搖滾等動畫模型的成功經驗 (有興趣我晚點可以貼範例圖 (有些真的幾乎分不出來 目前正在弄一個從動畫自動抓圖來訓練的pipeline https://github.com/cyber-meow/anime_screenshot_pipeline 主要過程包括 用ffmpeg自動截圖並且先用簡單filter去掉連續相近的scene 這樣一集24分鐘大概5000張圖 之後用neural network feature移除相似圖片 這樣下來大概剩500張圖 因為專注於角色接著用face detector加臉資訊的metadata並且吧圖片依照臉數量跟大小分 到不同資料夾 訓練few shot classifier/tagger自己分類資料 目前測試了用臉分類角色的classifier 一個角色給個10/20張圖就可以訓練 不要太edge case的情況表現都不錯 缺點是只能分類正面跟一些側面 背面一開始face detector的部分就爆了 這部分希望更好的few shot learning model 然後依照class分資料夾 目前在用登山少女 除了第三季都好了 大概一萬張圖結果如下 https://imgur.com/a/vvqw7ve 自己有手動處理沒偵測到的角色所以頗花時間 然後再用別人訓練好的tagger上tag (deepdanbooru, wd1.4tagger 或blip上caption 處理下來一張圖的metadata如下 https://imgur.com/a/URm90YH fanart的部分如果用imgbrd-grabber從booru抓處理起來容易多了 因為本身就有tag information TODO: 1. 從metadata隨機生成訓練用的caption 2. 利用資料夾結構調整每個子資料夾的權重 實際就是生成一個multiply.txt目前只有Ever ydream(2)有支援 (我去discord做feature request當下他們就寫好了 kohya teainer雖然有些feature比較好但感覺是自己在develop 因為我一定需要這個auto balance的功能所以可能只能用everydream 3. 收集更多額外的regularization dataset (某些想訓練的concept圖還不夠 4. 訓練 目前everydream2有些bug 等他們修 5. 當全部弄好會加doc可能也會分享去西恰 希望有興趣的人可以一起幫助順這個流程 其他: https://github.com/huggingface/diffusers/pull/1585 比較好的inpainting演算法 等善心人士幫我寫成extension pipeline搞四天了還要回去寫paper啊啊 -- 北歐組一生推 https://i.imgur.com/ydMoryp.jpg https://i.imgur.com/njHa0OA.jpg https://i.imgur.com/KVrWmNb.jpg https://i.imgur.com/leUc4jP.jpg https://i.imgur.com/aWFuDE4.jpg --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 81.185.165.158 (法國) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1671619211.A.58B.html ※ 編輯: cybermeow (81.185.165.158 法國), 12/21/2022 18:43:25 ※ 編輯: cybermeow (81.185.165.158 法國), 12/21/2022 19:29:12