作者dharma (达)
看板DataScience
标题[问题] AI是黑箱？
时间Sun Jun 9 23:39:59 2019
人工智慧发展迄今，取得较大进展的有两个领域：图形辨识和自然语言，而常使用的工
具有卷积神经网路(Convolutional Neural Network；CNN)和递归神经网路 (Recurrent
Neural Network；RNN)。以CNN为例，程式精简写来不过百来行，其结构也明确，一或多
个卷积层(convolution layer)、顶端的全连通层(fully connected layer)、池化层
(pooling layer)等，但是究竟如何从一资料库中学习、建立模型，以及如何对真实案例
给指令、下判断，目前还是黑箱。
https://www.digitimes.com.tw/col/article.asp?id=1028
没有深入研究
只知皮毛
觉得奇怪的是
现在的AI程式和硬体
不管再怎麽复杂
终究是人类写出来的
根本就可说是百分之百透明啊
这样只能说人类如果要仔细分析AI跑的过程
要花很多时间精力
并不能说AI是黑箱啊
Thanks
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 211.72.78.253 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1560094802.A.8C0.html
1F：→ sma1033: 黑箱只是比喻，讲的是很难用简单逻辑来描述或解释行为 06/10 00:45
2F：→ sma1033: 就跟电脑里所有的random变数都非真正random一样 06/10 00:46
3F：→ sma1033: 即使不是random，你可能也很难完全掌握所有资讯与状态 06/10 00:47
4F：→ sxy67230: 黑箱只是方便跟外面的人解释而已，解释XX is some speci 06/10 08:15
5F：→ sxy67230: fic function 这件事情，其实就是利用一个算法去拟合一 06/10 08:15
6F：→ sxy67230: 个空间中可能线性也可能非线性的资料集而已，而那个东 06/10 08:15
7F：→ sxy67230: 西可能是一个线性方程式也可能不是一个线性方程式，这 06/10 08:15
8F：→ sxy67230: 个方程是机器利用训练资料学习出来的。 06/10 08:15
9F：推 TuCH: 就跟福尔摩斯的推理过程一样 对一般人根本是黑箱 06/10 10:08
10F：推 st1009: 我个人觉得依照现在的理论，你花很多时间可以看见他的每个 06/10 11:07
11F：→ st1009: 过程，但未必可以真的理解他为何会这样 06/10 11:08
12F：推 zxp9505007: 无法debug 所以叫黑箱 06/10 12:57
13F：→ zxp9505007: 有修过类神经网路就知道 黑箱这个比喻真的很贴切 06/10 12:58
14F：→ f496328mm: 因为无法解释阿 06/10 13:19
15F：→ f496328mm: 过去统计上的回归，还有一些理论基础 06/10 13:20
16F：→ f496328mm: NN 就暴力法，一堆 random 因素，根本无法解释 06/10 13:21
17F：→ f496328mm: 不过实际上，NN解决的问题，的确很抽象 06/10 13:22
18F：→ f496328mm: 有些根本无法给清楚的定义 06/10 13:22
19F：→ f496328mm: 最简单的猫狗辨识，你怎麽定义猫狗图像? 06/10 13:23
20F：推 sma1033: 我个人其实觉得猫狗图像还是可以被定义出来，只是很复杂 06/10 17:58
21F：→ sma1033: 没办法用10个参数来定义，但是可能可以用100万个参数来 06/10 17:59
22F：→ sma1033: 描述资料分布的情形，我认为跟「无法定义」还是不大一样 06/10 18:00
23F：推 maoc: 我个人认为：黑箱就是不用懂也能算出结果的意思。不懂线代， 06/10 19:16
24F：→ maoc: 回归也就黑箱了！ 06/10 19:16
25F：→ sxy67230: 没有什麽不能理解的，说穿了，NN只是多层复杂化的logist 06/10 19:28
26F：→ sxy67230: ic regressions ，自然他很容易拟合出非线性方程。Convo 06/10 19:28
27F：→ sxy67230: lution 、Recurrence 、Attention实际上的功用就是把特 06/10 19:28
28F：→ sxy67230: 徵映射到更高维的空间的特徵变换Function。猫狗图像一 06/10 19:28
29F：→ sxy67230: 样可以用svm、hog的方式经过调参跟filter找到特徵跟分 06/10 19:28
30F：→ sxy67230: 类，只是cnn目前取代了这些需要仰赖专家的传统方法而已 06/10 19:28
31F：→ sxy67230: 。logistic regression 也有kernel 的方法可以解决非线 06/10 19:28
32F：→ sxy67230: 性的问题，但是gpu当道的时代，大家觉得NN+gpu加上googl 06/10 19:28
33F：→ sxy67230: e加持让一堆人都觉得deep就是潮。 06/10 19:28
34F：→ sxy67230: 如果NN真的是无法理解的，那神经网路压缩的那些方法像是 06/10 19:38
35F：→ sxy67230: pruning也会无效才对 06/10 19:38
36F：推 yiefaung: 文中说的黑箱跟我们一般谈到的黑箱不太一样 可解释性差 06/10 20:59
37F：→ yiefaung: 调参像炼丹 不知道为何可以导致无法确定潜在风险才是 06/10 20:59
38F：→ yiefaung: 问题 06/10 20:59
39F：→ sxy67230: 同意楼上的真的要说黑箱的部分就是神经网路的调参有很大 06/10 23:08
40F：→ sxy67230: 部分的经验法则在，有时候参数设定没什麽道理，但是整 06/10 23:08
41F：→ sxy67230: 体算法却是可以解释的，符合直觉的。 06/10 23:08
42F：推 thefattiger: sxy讲的似乎有点偏了，nn本身当然是可以理解的 06/11 00:27
43F：→ thefattiger: 黑箱指的应该是nn拟合出来的函数人类难以理解 06/11 00:28
44F：→ thefattiger: 不然也不会有人在搞XAI了 06/11 00:29
45F：→ thefattiger: nn说穿了就是curve fitting，只是fit的参数超多而已 06/11 00:31
46F：推 bboybighead2: 很多人不懂线代 解释回归系数还是吓吓叫 这不是被称 06/11 17:21
47F：→ bboybighead2: 做黑箱的原因，函数的可解释性才是主因 06/11 17:21
48F：推 erre: 做矩阵自乘拿博士也是觉得自己会线代，很难吗… 06/12 11:08
49F：推 j0958322080: 我的话要会SVD跟JORDAN FORM才敢说我会线代 06/13 09:25
50F：推 thefattiger: 会线代是很奇怪的说法，就只是个基本的工具但范围很 06/13 10:20
51F：→ thefattiger: 广，通常都只会熟常有用到的那些吧 06/13 10:20
52F：推 sarsman: 以往解一个问题是定义一个函数，问题带入该函数求出答案 06/14 22:09
53F：→ sarsman: ；而NN是定义一个「定义一群函数」的函数，问题带入那一 06/14 22:09
54F：→ sarsman: 群函数求出答案，而那一群函数就是黑箱 06/14 22:09
55F：推 Ericz7000: 我觉得数值方法中的optimization跟机器学习蛮相似的 06/15 17:52
56F：→ sxy67230: 机器学习中的optimization就是来自於最佳化啊 06/16 17:02
57F：推 cybermeow: 连用sgd train的over parameterized network为什麽可以 06/17 19:38
58F：→ cybermeow: generalize well都一堆正在研究了 你说不是黑箱 06/17 19:38
59F：→ cybermeow: 连loss的landscape长怎样都不知道 像是什麽mode connec 06/17 19:39
60F：→ cybermeow: tivity 06/17 19:39
61F：→ shaform: 也没人知道人类为何学习可以generalize well，但倒是没 06/19 02:12
62F：→ shaform: 人特别说人类的决定是黑箱 @@ 06/19 02:12
63F：→ shaform: 也没人知道人类有没有loss，有的话 landscape 是什麽 06/19 02:12
64F：推 littleyuan: 无法解释给高层或客户听得懂 所以黑箱 07/19 13:13
65F：→ littleyuan: rule based 很好解释 只要有domain knowledge就能理 07/19 13:14
66F：→ littleyuan: 解程式为什麽这样写 deep learning无法和人解释 07/19 13:14
67F：推 BrowningZen: 用alphago的例子就是 棋手照着下一定会嬴 可是不知道 08/05 03:50
68F：→ BrowningZen: 怎麽嬴 下这步的想法是什麽 08/05 03:50
69F：嘘 yyawlin: activation function不一定是 logistics function, 唯一 09/02 13:45
70F：→ yyawlin: 可以说是a sequence of nonlinear transformations of a 09/02 13:45
71F：→ yyawlin: vector 09/02 13:45
※ 编辑: dharma (211.72.78.253 台湾), 09/12/2019 13:30:33