作者cybermeow (北欧组一生推)
看板C_Chat
标题[闲聊] 训练了一个生成凯留头的模型
时间Mon May 25 20:33:47 2020
废话不说先直接上结果
使用范例:
https://i.imgur.com/I4xNU6A.jpg
https://i.imgur.com/eiag3pK.jpg
https://i.imgur.com/oOHB7aF.jpg
https://i.imgur.com/BBR81CN.jpg
随机生成的图 (没有挑选过而且模型还没训练到收敛所以并没到非常好
https://i.imgur.com/dM3QZFC.jpg
研究动机:
近年凯留接头日益盛行，然而接头本身耗费人力，不仅仅要求操作者的PS技巧
而且接头素材有限，对於一张给定的图，不一定拥有适当的头来接
如果想要上网寻找最合适的头又需要额外的付出
同时以凯留的角度而言，虽然有很多身体，可是头却是固定几个，相当的不平衡
我们希望此研究能够抛砖引玉，引起更多人对於凯留接头全自动化这个问题的重视
方法:
先跳过，有人有问再说
基本上都是拿现成的程式码直接使用
这只是一个极短时间娱乐性质的 Project
接下来有空会考虑做一些比较实用而且效果也比较好的(一样是动画相关的)东西
真的有成品的话应该也会 release source code 和训练好的模型甚至架设网站等等
欢迎有兴趣的人来讨论
另外推荐几个个人觉得「实用」的深度学习应用到动画上的模型
Tagger:
https://www.reddit.com/r/MachineLearning/comments/edzqp8/p_deep_danbooru_girl_
image_tag_estimation_source/
Decensor:
https://github.com/natethegreate/hent-AI
一般而言 reddit/animeresearch 上面有很多东西 大家可以试着去挖宝
置底
https://imgur.com/pbBiSGu.jpg
--
北欧组一生推
https://imgur.com/ydMoryp.jpg
https://imgur.com/njHa0OA.jpg
https://imgur.com/KVrWmNb.jpg
https://imgur.com/leUc4jP.jpg
https://imgur.com/2UN6JMx.jpg
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.225.166.20 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/C_Chat/M.1590410039.A.797.html
1F：推 Golbeza: 这到底在干嘛05/25 20:34
2F：推 s87879961: 兄弟 不要这样浪费才能阿www05/25 20:34
3F：→ waitan: 接头霸王产生器2.005/25 20:34
4F：→ zxcv070801: 有东西05/25 20:35
5F：推 dodomilk: 有趣XDDDDDD05/25 20:35
7F：推 doggy10454: 太…太强啦05/25 20:36
8F：推 DDM76: 我觉得我应该推一下05/25 20:36
9F：推 melzard: 你会不会是人类史上第一个用凯留发论文的人类R05/25 20:36
10F：推 white841230: 推05/25 20:37
11F：推 rickydai888: 这篇有发展潜力 前排插眼推个05/25 20:37
12F：推 ernova831: 你到底在干嘛...05/25 20:37
13F：推 guogu: 杀小w05/25 20:38
14F：推 fragmentwing: 太强了吧 你是要发论文吗05/25 20:38
15F：推 littlebug421: 浪费才能(称赞意味)05/25 20:39
16F：推 highwayshih: 浪费才能欸XDDDDDDDDDDDDDDDDDDDD05/25 20:39
17F：推 ryohgi: 浪费才能系列XDD05/25 20:40
18F：推 Ttei: 再不推就准备被凯留换头啦05/25 20:40
19F：推 nahsnib: 这就是传说中的scp-k，自动将识别到的人型生物头部替换05/25 20:41
20F：→ sunshinecan: 不要浪费才能好吗 XDDD05/25 20:41
21F：推 fakinsky: ?????05/25 20:41
22F：推 a1216543: 督丢校欸XDDD05/25 20:41
23F：推 a2470abc: 有没有模型架构能看啊 好像有点屌05/25 20:41
这个就stylegan2直接train而已
换头的部分encode回latent space找生成里面接近的
最後接头还是自己P
因为几乎都用现成的code所以发色跟猫耳换的时候效果常常不好
接下来应该会考虑改成image to image translation的系列来做
先translate一次头再自动处理artifact搞不好就能整张自动换了?
24F：推 Erichikaunkr: ？？？？05/25 20:42
25F：推 tw15: 靠凹XD 05/25 20:43
26F：推 evan09900966: 赞05/25 20:43
27F：推 LovelyCS: ？？？05/25 20:43
28F：推 a1l12: ???!!!!!XDDDDD05/25 20:44
29F：推 naya7415963: 我看了什麽...05/25 20:45
30F：推 Anemoneheart: ...05/25 20:46
※ 编辑: cybermeow (36.225.166.20 台湾), 05/25/2020 20:50:42
31F：推 lcw33242976: 好猛XDDD 05/25 20:47
32F：推 LANJAY: 你是要写论文吗？不要浪费才能啦XD 05/25 20:48
33F：推 lin79529: 浪费才能w 05/25 20:48
34F：推 killuaz: 你接头系XD 05/25 20:48
35F：推 Reshiram: 这是用卷积做的吗 好酷www 05/25 20:49
36F：推 fragmentwing: 所以是先找脖子→脖子角度→自动配对缩放大小接头吗 05/25 20:49
37F：推 kinomon: 好 05/25 20:49
38F：推 efkfkp: 这三小，博士快回去写论文好吗XD 05/25 20:49
真的NeurIPS deadline快到了
39F：推 nebbiabards: 无限头制欸05/25 20:49
40F：推 vincentwg: <接头霸王之实际应用>05/25 20:51
41F：推 ases60909: 发paper啦05/25 20:51
42F：推 Authsty: ??05/25 20:51
43F：推 Erichikaunkr: 咦 原来还是要自己P喔XD05/25 20:51
可以图片直接换但因为目前没有segmentation mask效果不好(就正方形换掉)
希望有人可以训练一个不然自己要试着weak supervise一个
44F：推 a123444556: 浪费才能文+105/25 20:52
45F：推 redhen0857: 不要浪费才能05/25 20:52
46F：推 q0928755515: 兄弟....05/25 20:52
47F：推 leftside: 要开发出新的固有结界了 05/25 20:52
48F：推 Zerogos: 这个太强了，不推不行 05/25 20:53
49F：推 superpaden: 浪费才能欸05/25 20:53
50F：推 hugowind: 斯巴拉系!! 05/25 20:53
51F：推 peter0318: 推 笑死XD 05/25 20:53
53F：推 doraemon8709: 浪费才能XD05/25 20:55
※ 编辑: cybermeow (36.225.166.20 台湾), 05/25/2020 20:55:11
54F：推 gggaaammm: 77777777 05/25 20:55
55F：推 knight791211: 果然西洽充满各种天才 05/25 20:55
56F：推 uuhao: 你是把接好头的照片跟原本的照片一组来当训练资料？ 05/25 20:56
57F：→ uuhao: 让他学习接头的方式？05/25 20:56
因为头是生成的所以可以想像成生成的头自己的角度之类的就自己对了
58F：推 allanbrook: XDD 不要抢我们改图的人饭碗好吗 05/25 20:58
59F：推 ikaros35: 类似cycle GAN的模型吗XD05/25 20:59
这是我下一步打算做的抱歉让你失望了
60F：推 aOwOa: 之前学稀疏矩阵的时候就觉得影像处理这块的发展比我想像中05/25 21:01
61F：→ aOwOa: 强大很多05/25 21:01
62F：推 find64324: 三小R05/25 21:02
63F：推 ShibaTatsuya: 笑死 浪费才能05/25 21:03
64F：推 ZongKenGG: 你在干嘛？？？？05/25 21:03
※ 编辑: cybermeow (36.225.166.20 台湾), 05/25/2020 21:05:15
65F：推 Sacral: 浪费才能啦XDDDD 05/25 21:04
66F：推 twosheep0603: 有没有想过利用类似凯留MMD模型大量生成不同角度的 05/25 21:04
67F：→ twosheep0603: sample呢 感觉可以更快收敛 05/25 21:04
怕会有严重的distribution shift而且个人没使用mmd的经验
不过应该可以特别设计模型来处理
※ 编辑: cybermeow (36.225.166.20 台湾), 05/25/2020 21:11:13
68F：推 e2167471: what are you doing 05/25 21:09
69F：推 asderavo: 有内味了05/25 21:09
70F：推 aegisWIsL: 有够浪费才能xD 05/25 21:13
71F：推 cross980115: 全自动接头霸王产生器 指日可待？ 05/25 21:15
72F：推 fate111085: 卡等GAN版本 有搞头 05/25 21:15
73F：推 Youmukon: 标靶换头 05/25 21:19
74F：推 overcame: 三小啦XDDDD05/25 21:23
75F：推 Tiamat6716: 迷失接头 05/25 21:23
76F：推 jackwula9211: 你论文是不是卡住了才跑来做这个？ 05/25 21:25
77F：→ koty6069: 浪费才能05/25 21:26
78F：推 SoQXuanChi: 文明的进步 05/25 21:27
79F：推 ahw12000: 赞啦 完美凯留世界 05/25 21:31
80F：推 ss77995ss: 推 05/25 21:37
81F：推 danielqwop: 希望这能让你的论文找到灵感XD 05/25 21:40
82F：推 Derriclc: 干 笑死 我没看也没玩公连 都快变凯流粉了 05/25 21:40
83F：推 iamnotgm: 有创意XD05/25 21:43
84F：推 jjimonkey: 浪费才能XDD 05/25 21:47
85F：推 mokissru: 浪费才能XDDDD 05/25 21:47
86F：推 dangerousair: 不顺便把签名档都换一次头吗xdd 05/25 21:48
87F：推 gbls9527341: 完美凯留世界05/25 21:48
88F：推 a195732684: 浪费才能啊你05/25 21:50
89F：推 leion237: 真接头霸王05/25 21:52
90F：推 WindSucker: 天网 05/25 21:54
91F：推 QT1020: 这三小XDDD05/25 21:54
92F：推 qn123456: 接头霸王2.0 XD 05/25 21:56
93F：推 ehentai: 百推之前推一个 05/25 21:57
94F：推 bomb1000: 太神啦 最近也在做机器学习专题 是个菜鸟 踩了好多坑XD 05/25 21:58
95F：推 uohZemllac: 野生的才能跳出来了！！ 05/25 21:58
96F：→ assassin762: 三小05/25 21:58
97F：推 Ikaros2601: 全自动凯留大接头时代来临喇 05/25 21:59
98F：推 Geiwoyujie: 这有点神 XDDD 05/25 21:59
99F：推 enders346: wwwww05/25 22:01
100F：推 DeaGoo: 我看了三小 05/25 22:03
101F：推 liyikisen: 全自动接头 太神啦 05/25 22:03
102F：推 kerorokuzo: 请收下我的膝盖 05/25 22:03
103F：推 slimc0527: 不要浪费才能啊 05/25 22:10
104F：推 direct: 接头霸王产生器in凯留 05/25 22:11
105F：推 ga652206: 昔日有自动功德机 现在有自动接头机05/25 22:12
106F：推 phyBomber: 吃饱太闲喔 05/25 22:13
107F：推 mikeneko: J三小 05/25 22:18
108F：推 g5637128: 三小 05/25 22:18
109F：推 Jabarkas: 接头论文！05/25 22:20
110F：推 iam60805: 可以再发一篇文详细解说训练过程吗，想了解05/25 22:21
111F：推 HHH555JJJ: XDD 推05/25 22:21
112F：推 nickely: ？？？？ 05/25 22:22
113F：推 gincod: 大老05/25 22:23
114F：推 xsdferty035: 有github能看吗（X 05/25 22:24
115F：→ cities516: ptt卧虎藏龙 05/25 22:24
116F：推 pepro: 哈哈哈哈 动机有了，接下来该写文献回顾了吧 05/25 22:25
117F：推 r901700216: 接头学家是你？ 05/25 22:27
118F：推 y1896547: XD05/25 22:28
119F：推 roea68roea68: 接头霸王 05/25 22:28
120F：→ qqq3892005: 才能大浪费 05/25 22:30
121F：推 a25785885: 太闲48405/25 22:31
122F：推 s1326520: 接头霸王产生器 05/25 22:34
123F：推 kele1206: XD ←这是赞美 05/25 22:36
124F：推 greg90326: 草 05/25 22:37
125F：推 DMGA: yolo学一个扫含头发延伸的头切出来再gan回去呢？ 05/25 22:39
126F：推 ewqxz: 接头博士 05/25 22:42
127F：推 gungunme5566: 我就接05/25 22:42
128F：推 wasgavin0410: 真的好猛 这个已经吊打我的毕专了 05/25 22:44
129F：推 max410286: meeting的时候跟老板报告一下这周进度(接头) 05/25 22:51
130F：推 tobbaco: 全自动街头霸王产生器 指日可待 05/25 22:55
131F：→ tobbaco: 人被逼急了总是会做一些奇怪的东西05/25 22:55
132F：推 QB5566: 高…高手05/25 22:57
133F：推 WLR: 科技接头XD05/25 22:57
134F：推 davidash: 也太强... @@ 05/25 22:59
135F：推 RLH: 这是什麽？05/25 23:01
136F：推 leon4287: J三小 05/25 23:03
137F：推 rumirumi: 真超级接头霸王 05/25 23:08
138F：推 seatan: 我的天w 05/25 23:08
139F：推 jacklinjia: 不要浪费才能啦XDD 05/25 23:10
140F：推 atbhao05: 封你为C洽街头霸王05/25 23:10
141F：推 converse0201: 基於深度学习之2D人脸自动生成研究 05/25 23:13
142F：推 jason7086: 神 05/25 23:15
143F：推 forsakesheep: 不要浪费才能阿阿阿05/25 23:16
144F：推 sophigo: 论文卡住时会开始做其他有的没的 我懂XD 05/25 23:23
145F：推 rabbithouse: 1970：未来的人一定会发明出飞天车 2020： 05/25 23:38
146F：推 maple3142: 太强了 05/25 23:43
147F：推 orion1991830: deepfake 05/25 23:45
148F：推 rabbithouse: 话说多人那张图 模型有认出凯留本人 莫名好笑XD 05/25 23:45
149F：推 Merman19: 封你为 接 接 接头霸王05/25 23:47
150F：推 passioncraig: 植基於类神经网路之街头霸王自动接头生成应用 05/25 23:53
151F：→ summerkitten: 接头霸王！！ 05/25 23:54
152F：推 zx8967: 不愧是PTT (感叹 05/25 23:58
153F：推 sochensun92h: 神人给推 真·接头霸王05/25 23:59
154F：推 ad0101: ？？？？05/26 00:06
155F：推 ken52011219: 干你有病 笑死05/26 00:07
156F：推 xkiller1900: 谁在说ptt不是学术论坛啊，我他妈跟你急 05/26 00:07
157F：推 nchuTim: 太强了~05/26 00:16
158F：推 anna89: 淦，有够浪费才能，接头霸王XDDDD 05/26 00:19
159F：嘘 Tr3vyy: 中国烂梗还一直用 05/26 00:23
160F：推 zmcx16: 推街头霸王XDD 05/26 00:26
161F：推 hj258369: 接得不错 05/26 00:31
162F：推 notneme159: 推个05/26 00:46
163F：推 cicini: 1970:AI会消灭人类！ 2020: 05/26 00:51
164F：推 Noxus: 麻美夏桀笑死 05/26 00:59
165F：→ Noxus: 学姐05/26 00:59
166F：推 et310: 我觉得我应该推 05/26 01:02
167F：推 ack0011: 做成病毒去把别人电脑里的照片都换头 05/26 01:02
168F：推 st06208815: 三小啦wwqwq 05/26 01:08
169F：推 Chenih: 笑死 05/26 01:10
170F：推 moon1000: 浪费才能 05/26 01:16
171F：推 Lucas0806: 阁下您是不是本家论文生不出来才会想要靠这个生成器转05/26 01:21
172F：→ Lucas0806: 换思路刺激灵感啊？ 05/26 01:21
173F：推 bollseven: 天才 都忘了ptt是学术论坛！ 05/26 01:23
174F：推 jack70134: 先朝圣 05/26 01:33
175F：→ harryzx0: 浪费才能XDD05/26 02:01
176F：→ qwer880506: 虽然是接头 但可不是闹着玩的05/26 02:13
177F：推 Chikarable: 研究动机 哈哈哈05/26 02:18
178F：推 starian: 靠 我到底看了三小 05/26 02:51
179F：推 rickphyman42: 兄弟不要浪费才能啊05/26 02:58
180F：推 peter105096: 发paper 发paper 05/26 03:07
181F：推 AlvaroMorata: 神神神 05/26 03:08
182F：推 Deparic: 浪费才能wwww 05/26 03:31
183F：推 xyz159632001: 笑死 05/26 03:39
184F：推 ng1life1: 笑死05/26 04:27
185F：推 greed3819: 想到上学期训练一个手写辨识的Ai 弄到快暴毙 05/26 04:31
187F：→ jerry123: details/70215732 把人脸提取的方法，提取後做 image-to05/26 05:13
188F：→ jerry123: -imag translation 再贴回原本图片上，最後再接几层Conv 05/26 05:13
189F：→ jerry123: Layer 让接头处合理化。CycleGAN 要较多的 unpaired dat 05/26 05:13
190F：→ jerry123: a训练资料才能做的好，数量过少会有 mode collapse 的 05/26 05:13
191F：→ jerry123: 问题，脸部五官因变动参数较少，建议做 data augmentati 05/26 05:13
192F：→ jerry123: on 及往迁移学习的方向考虑。 05/26 05:13
大方向是打算这样做
可能试试看用few shot的方式能不能做出动画的deepfake
不过我很缺resources更缺时间就是
到时候先跑跑看deepcreampy的inpainting能不能处理接头衔接问题
虽然平常都拿来解码 (逃
193F：嘘 togs: 我觉得是时候我该下跪了05/26 06:16
194F：推 cyclone055: 你让我早上看了什麽www 05/26 06:28
195F：嘘 ym951305: 不行 05/26 06:56
196F：推 jimmyVanClef: 到底在干嘛wwwwww 05/26 07:26
197F：推 yoyo83117: 浪费才能05/26 08:05
198F：推 ggyyhippo: 兄弟 你是多丧心病狂想要做这东西出来啊XDD05/26 08:13
199F：推 purplemagic: 浪费才能05/26 08:36
200F：推 berice152233: 笑死 05/26 08:37
201F：推 enderboy7652: 浪费才能www05/26 08:42
202F：推 dog990999: 接头霸王 05/26 08:48
203F：推 hwider: 厉害！ 05/26 08:54
204F：推 madaoraifu: 太强啦 05/26 09:01
205F：推 common7: 推 05/26 10:34
206F：推 alec0804: 你他妈这太屌了 05/26 11:25
207F：推 cool9203: 有没有dataset可以open QQ，想拿实验室2080ti来玩玩看05/26 11:30
两千张脸crop完的 过一阵子删连结 主要p网爬的
https://drive.google.com/file/d/1iPlBNOBIee1JZV6S22sBWUzavG2OLZ07/view?usp=drivesdk
我是用gwern pretrain好的anime portrait stylegan2来fine tune
https://mega.nz/file/CRtiDI7S#xo4zm3n7pkq1Lsfmuio1O8QPpUwHrtFTHjNJ8_XxSJs
2080ti 应该几个小时就有我上面的成果了
个人平常做理论的视觉就随便看随便写
如果大大是专门视觉背景的欢迎来帮忙改善模型
208F：推 fatedate: ...你再干嘛 浪费才能05/26 12:11
209F：→ tako2000: 好猛05/26 12:38
210F：→ aa779922: 浪费才能05/26 13:08
211F：推 smallkaka: 浪费才能05/26 13:50
212F：→ took: 深度学习作业05/26 14:18
※ 编辑: cybermeow (36.225.161.55 台湾), 05/26/2020 14:54:09
213F：推 FuckQguy: 全自动接头www 05/26 15:00
214F：推 A1pha: 让我猜猜，论文写到起笑了对吧？XD 05/26 15:47
215F：推 crazy6341556: 害怕 05/26 16:07
216F：推 SilverFlare: 接头博士www 05/26 16:17
217F：推 SparseStar: 有档案可以试玩吗xD 06/10 23:49