个人是个兴趣使然的模型训练师 目前训练了不少dreambooth https://huggingface.co/alea31415/ 图也有丢pixiv (含18禁 但这样能做到的成果差强人意 鉴於别人来自深渊 小书痴 孤独摇滚等动画模型的成功经验 (有兴趣我晚点可以贴范例图 (有些真的几乎分不出来 目前正在弄一个从动画自动抓图来训练的pipeline https://github.com/cyber-meow/anime_screenshot_pipeline 主要过程包括 用ffmpeg自动截图并且先用简单filter去掉连续相近的scene 这样一集24分钟大概5000张图 之後用neural network feature移除相似图片 这样下来大概剩500张图 因为专注於角色接着用face detector加脸资讯的metadata并且吧图片依照脸数量跟大小分 到不同资料夹 训练few shot classifier/tagger自己分类资料 目前测试了用脸分类角色的classifier 一个角色给个10/20张图就可以训练 不要太edge case的情况表现都不错 缺点是只能分类正面跟一些侧面 背面一开始face detector的部分就爆了 这部分希望更好的few shot learning model 然後依照class分资料夹 目前在用登山少女 除了第三季都好了 大概一万张图结果如下 https://imgur.com/a/vvqw7ve 自己有手动处理没侦测到的角色所以颇花时间 然後再用别人训练好的tagger上tag (deepdanbooru, wd1.4tagger 或blip上caption 处理下来一张图的metadata如下 https://imgur.com/a/URm90YH fanart的部分如果用imgbrd-grabber从booru抓处理起来容易多了 因为本身就有tag information TODO: 1. 从metadata随机生成训练用的caption 2. 利用资料夹结构调整每个子资料夹的权重 实际就是生成一个multiply.txt目前只有Ever ydream(2)有支援 (我去discord做feature request当下他们就写好了 kohya teainer虽然有些feature比较好但感觉是自己在develop 因为我一定需要这个auto balance的功能所以可能只能用everydream 3. 收集更多额外的regularization dataset (某些想训练的concept图还不够 4. 训练 目前everydream2有些bug 等他们修 5. 当全部弄好会加doc可能也会分享去西恰 希望有兴趣的人可以一起帮助顺这个流程 其他: https://github.com/huggingface/diffusers/pull/1585 比较好的inpainting演算法 等善心人士帮我写成extension pipeline搞四天了还要回去写paper啊啊 -- 北欧组一生推 https://i.imgur.com/ydMoryp.jpg https://i.imgur.com/njHa0OA.jpg https://i.imgur.com/KVrWmNb.jpg https://i.imgur.com/leUc4jP.jpg https://i.imgur.com/aWFuDE4.jpg --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 81.185.165.158 (法国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1671619211.A.58B.html ※ 编辑: cybermeow (81.185.165.158 法国), 12/21/2022 18:43:25 ※ 编辑: cybermeow (81.185.165.158 法国), 12/21/2022 19:29:12