作者davidwales (cluster)
看板DataScience
标题[讨论]representation learning是否在找对称性?
时间Mon Mar 23 16:45:02 2020
representation learning
是一个我觉得非常有趣的主题
我先用我理解的图像讲述一次,再请版友补充或是指证
我的感觉, representation learning 是在找一个最适座标系统
可以对应系统的对称性
套用 数学的例子,
如果今天的系统有球对称 那最好的座标系统当然就是球座标
反之如果是柱对称,那我当然去选一个柱座标会比较适合
representation learning
似乎在找研究系统的资料的结构的某种对称性?
显然资料也是从真实的系统收集而来
但这些真实系统往往不像几何物体那样容易用视觉去理解
但这不阻碍其具有某种几何甚至是拓朴(或其他可度量对称性的参量)上的对称性
我的直觉是
represention learning 是在找研究系统的一个最适座标系统
也就是在这个最适合座标系统下
数据的分布会是 1. 没有维度灾难 2.不会有过度拟和 3.会有最小的information loss
如果能够找到这样的座标系统
那後续的监督学习就会变得非常准确和有效率(因为已经选了一个最棒的座标系统了)
这个概念很像 群论 reduible representation => irreducible representation一样
其实监督学习给我感觉很像在找系统的哈密顿量
因为数学上哈密顿量依但知道後 就可以建构系统的运动方程式
自然就能做未来状态的各种预测
但如果座标系统选得不好 那你建构出来的哈密顿量就会是一个拼装车
车子怎麽开都走不了太远
回到我想问的问题上
有办法从representation learning的结果
知道研究系统可能的对称性或是不变量为何吗?
因为板友可能不一定具备 数学物理背景知识
但如果你觉得我讲的东西和你之前碰过的理论似曾相似
但可能是用CS的语言或是学科的名词来描述的
也不吝分享讨论!
感谢!!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 155.69.170.63 (新加坡)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1584953104.A.301.html
1F：推 acctouhou: 怎麽感觉就是deep learning 在做的事，相较於传统机器 03/24 14:06
2F：→ acctouhou: 学习他比较不需要特徵工程（座标系转换等） 03/24 14:06
3F：→ acctouhou: 另外感觉你应该要走无监督学习 然後再尝试跟现有结构 03/24 14:06
4F：→ acctouhou: 做连结 03/24 14:06
5F：→ davidwales: 楼上 我有看到一种说法 deeping learning就是represe 03/24 15:21
6F：→ davidwales: ntation learning的一个分支 03/24 15:21
※ 编辑: davidwales (155.69.170.63 新加坡), 03/24/2020 15:22:13
7F：推 sxy67230: 应该说现实资料的特徵有复杂的表示方式，我们人类透过 03/27 10:34
8F：→ sxy67230: 数学很容易推导简单的拓墣（球座标、二维座标）但是复 03/27 10:34
9F：→ sxy67230: 杂化的拓墣就很难描述，这个时候就需要透过让机器去学， 03/27 10:34
10F：→ sxy67230: 而且我们希望找到一个符合解释真实资料的函数，这种可 03/27 10:34
11F：→ sxy67230: 能具备对称性更好让我们解释真实世界。这个在往上就有点 03/27 10:34
12F：→ sxy67230: 数学哲学的问题了。 03/27 10:34
13F：推 howayi: 请问 representation learning 有没有什麽论文或text book 04/04 17:06
14F：→ howayi: 有给比较 formal 的定义或描述？ 04/04 17:06