作者sssh (叫我松高魂 ~~)
看板DataScience
标题[问题] 想请教 Transfer Learning 的概念问题
时间Mon Jul 15 08:31:49 2019
最近在看 Transfer Learning，
但其实在之前接触到预训练模型就一直有一个疑问到现在
在不同任务上面的模型拿到新的、截然不同的任务上面为什麽会 WORK ?
常见的的说法可能是当我们使用之前Train好的模型上
可以提取到ㄧ些比较通用的特徵
利用这样的方式来做迁移学习
但还是有一个疑问是
既然是不同的任务，提取的特徵应该也还是不同的
暂且不论整个 model 拿来用有时候都有不错的结果
即使我们只 fix 前面几层，让後面几层重新train
两个任务间通用的特徵可能还是会不同 为什麽後面的结果还是会 OK ?
不知道大家有没有比较直觉式的想法 ?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.161.19.240 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1563150712.A.7F3.html
1F：→ jackwang01: 比起随机产生的noise权重，至少在别的项目上有学到一 07/15 11:56
2F：→ jackwang01: 些基本的形状、颜色等等的特徵 07/15 11:56
3F：推 kyushu: 要直觉的说，就是越靠近input 端的layer学习到的是越低阶 07/15 19:48
4F：→ kyushu: 的特徵，越靠近loss端的layer是越高阶的特徵 07/15 19:48
5F：推 goldflower: 我会想成不管你拿什麽任务 在理想情况下都是抽出一堆 07/15 20:53
6F：→ goldflower: 独立的basis 那即使这些basis不同(即不同任务抽取的 07/15 20:53
7F：→ goldflower: 特徵) 他们都能一定程度的表示好资料的超空间 07/15 20:53
8F：推 thefattiger: 以影像来讲，传统CV都是用那几种descriptor解决问题 07/15 21:56
9F：→ thefattiger: 换个task就只是取得descriptor後的用法不同 07/15 21:57
10F：推 sxy67230: Transfer的概念用你可以用实例会比较清楚，图像就是把别 07/15 23:12
11F：→ sxy67230: 的模型上层分类大尺寸的都拔掉，剩下点、线、色彩这些cn 07/15 23:12
12F：→ sxy67230: n的特徵是不用fine tune 的。语音的部分就是保留发音结 07/15 23:12
13F：→ sxy67230: 构的特徵，所以你只要重新训练音调那些特徵就好了。 07/15 23:12
14F：推 sxy67230: 从向量的角度出发就是你把相似的task当成bias去继续做gr 07/15 23:15
15F：→ sxy67230: adient，所以你会发现到训练完成後，你在去预测原本的 07/15 23:15
16F：→ sxy67230: 任务，原本的任务就烂掉了。 07/15 23:15
17F：推 erre: 用googlenet改参数，掰陈是这样做的 07/16 23:15