作者dharma (達)
看板DataScience
標題[問題] AI是黑箱？
時間Sun Jun 9 23:39:59 2019
人工智慧發展迄今，取得較大進展的有兩個領域：圖形辨識和自然語言，而常使用的工
具有卷積神經網路(Convolutional Neural Network；CNN)和遞歸神經網路 (Recurrent
Neural Network；RNN)。以CNN為例，程式精簡寫來不過百來行，其結構也明確，一或多
個卷積層(convolution layer)、頂端的全連通層(fully connected layer)、池化層
(pooling layer)等，但是究竟如何從一資料庫中學習、建立模型，以及如何對真實案例
給指令、下判斷，目前還是黑箱。
https://www.digitimes.com.tw/col/article.asp?id=1028
沒有深入研究
只知皮毛
覺得奇怪的是
現在的AI程式和硬體
不管再怎麼複雜
終究是人類寫出來的
根本就可說是百分之百透明啊
這樣只能說人類如果要仔細分析AI跑的過程
要花很多時間精力
並不能說AI是黑箱啊
Thanks
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.72.78.253 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1560094802.A.8C0.html
1F：→ sma1033: 黑箱只是比喻，講的是很難用簡單邏輯來描述或解釋行為 06/10 00:45
2F：→ sma1033: 就跟電腦裡所有的random變數都非真正random一樣 06/10 00:46
3F：→ sma1033: 即使不是random，你可能也很難完全掌握所有資訊與狀態 06/10 00:47
4F：→ sxy67230: 黑箱只是方便跟外面的人解釋而已，解釋XX is some speci 06/10 08:15
5F：→ sxy67230: fic function 這件事情，其實就是利用一個算法去擬合一 06/10 08:15
6F：→ sxy67230: 個空間中可能線性也可能非線性的資料集而已，而那個東 06/10 08:15
7F：→ sxy67230: 西可能是一個線性方程式也可能不是一個線性方程式，這 06/10 08:15
8F：→ sxy67230: 個方程是機器利用訓練資料學習出來的。 06/10 08:15
9F：推 TuCH: 就跟福爾摩斯的推理過程一樣 對一般人根本是黑箱 06/10 10:08
10F：推 st1009: 我個人覺得依照現在的理論，你花很多時間可以看見他的每個 06/10 11:07
11F：→ st1009: 過程，但未必可以真的理解他為何會這樣 06/10 11:08
12F：推 zxp9505007: 無法debug 所以叫黑箱 06/10 12:57
13F：→ zxp9505007: 有修過類神經網路就知道 黑箱這個比喻真的很貼切 06/10 12:58
14F：→ f496328mm: 因為無法解釋阿 06/10 13:19
15F：→ f496328mm: 過去統計上的迴歸，還有一些理論基礎 06/10 13:20
16F：→ f496328mm: NN 就暴力法，一堆 random 因素，根本無法解釋 06/10 13:21
17F：→ f496328mm: 不過實際上，NN解決的問題，的確很抽象 06/10 13:22
18F：→ f496328mm: 有些根本無法給清楚的定義 06/10 13:22
19F：→ f496328mm: 最簡單的貓狗辨識，你怎麼定義貓狗圖像? 06/10 13:23
20F：推 sma1033: 我個人其實覺得貓狗圖像還是可以被定義出來，只是很複雜 06/10 17:58
21F：→ sma1033: 沒辦法用10個參數來定義，但是可能可以用100萬個參數來 06/10 17:59
22F：→ sma1033: 描述資料分布的情形，我認為跟「無法定義」還是不大一樣 06/10 18:00
23F：推 maoc: 我個人認為：黑箱就是不用懂也能算出結果的意思。不懂線代， 06/10 19:16
24F：→ maoc: 迴歸也就黑箱了！ 06/10 19:16
25F：→ sxy67230: 沒有什麼不能理解的，說穿了，NN只是多層複雜化的logist 06/10 19:28
26F：→ sxy67230: ic regressions ，自然他很容易擬合出非線性方程。Convo 06/10 19:28
27F：→ sxy67230: lution 、Recurrence 、Attention實際上的功用就是把特 06/10 19:28
28F：→ sxy67230: 徵映射到更高維的空間的特徵變換Function。貓狗圖像一 06/10 19:28
29F：→ sxy67230: 樣可以用svm、hog的方式經過調參跟filter找到特徵跟分 06/10 19:28
30F：→ sxy67230: 類，只是cnn目前取代了這些需要仰賴專家的傳統方法而已 06/10 19:28
31F：→ sxy67230: 。logistic regression 也有kernel 的方法可以解決非線 06/10 19:28
32F：→ sxy67230: 性的問題，但是gpu當道的時代，大家覺得NN+gpu加上googl 06/10 19:28
33F：→ sxy67230: e加持讓一堆人都覺得deep就是潮。 06/10 19:28
34F：→ sxy67230: 如果NN真的是無法理解的，那神經網路壓縮的那些方法像是 06/10 19:38
35F：→ sxy67230: pruning也會無效才對 06/10 19:38
36F：推 yiefaung: 文中說的黑箱跟我們一般談到的黑箱不太一樣 可解釋性差 06/10 20:59
37F：→ yiefaung: 調參像煉丹 不知道為何可以導致無法確定潛在風險才是 06/10 20:59
38F：→ yiefaung: 問題 06/10 20:59
39F：→ sxy67230: 同意樓上的真的要說黑箱的部分就是神經網路的調參有很大 06/10 23:08
40F：→ sxy67230: 部分的經驗法則在，有時候參數設定沒什麼道理，但是整 06/10 23:08
41F：→ sxy67230: 體算法卻是可以解釋的，符合直覺的。 06/10 23:08
42F：推 thefattiger: sxy講的似乎有點偏了，nn本身當然是可以理解的 06/11 00:27
43F：→ thefattiger: 黑箱指的應該是nn擬合出來的函數人類難以理解 06/11 00:28
44F：→ thefattiger: 不然也不會有人在搞XAI了 06/11 00:29
45F：→ thefattiger: nn說穿了就是curve fitting，只是fit的參數超多而已 06/11 00:31
46F：推 bboybighead2: 很多人不懂線代 解釋迴歸係數還是嚇嚇叫 這不是被稱 06/11 17:21
47F：→ bboybighead2: 做黑箱的原因，函數的可解釋性才是主因 06/11 17:21
48F：推 erre: 做矩陣自乘拿博士也是覺得自己會線代，很難嗎… 06/12 11:08
49F：推 j0958322080: 我的話要會SVD跟JORDAN FORM才敢說我會線代 06/13 09:25
50F：推 thefattiger: 會線代是很奇怪的說法，就只是個基本的工具但範圍很 06/13 10:20
51F：→ thefattiger: 廣，通常都只會熟常有用到的那些吧 06/13 10:20
52F：推 sarsman: 以往解一個問題是定義一個函數，問題帶入該函數求出答案 06/14 22:09
53F：→ sarsman: ；而NN是定義一個「定義一群函數」的函數，問題帶入那一 06/14 22:09
54F：→ sarsman: 群函數求出答案，而那一群函數就是黑箱 06/14 22:09
55F：推 Ericz7000: 我覺得數值方法中的optimization跟機器學習蠻相似的 06/15 17:52
56F：→ sxy67230: 機器學習中的optimization就是來自於最佳化啊 06/16 17:02
57F：推 cybermeow: 連用sgd train的over parameterized network為什麼可以 06/17 19:38
58F：→ cybermeow: generalize well都一堆正在研究了 你說不是黑箱 06/17 19:38
59F：→ cybermeow: 連loss的landscape長怎樣都不知道 像是什麼mode connec 06/17 19:39
60F：→ cybermeow: tivity 06/17 19:39
61F：→ shaform: 也沒人知道人類為何學習可以generalize well，但倒是沒 06/19 02:12
62F：→ shaform: 人特別說人類的決定是黑箱 @@ 06/19 02:12
63F：→ shaform: 也沒人知道人類有沒有loss，有的話 landscape 是什麼 06/19 02:12
64F：推 littleyuan: 無法解釋給高層或客戶聽得懂 所以黑箱 07/19 13:13
65F：→ littleyuan: rule based 很好解釋 只要有domain knowledge就能理 07/19 13:14
66F：→ littleyuan: 解程式為什麼這樣寫 deep learning無法和人解釋 07/19 13:14
67F：推 BrowningZen: 用alphago的例子就是 棋手照著下一定會嬴 可是不知道 08/05 03:50
68F：→ BrowningZen: 怎麼嬴 下這步的想法是什麼 08/05 03:50
69F：噓 yyawlin: activation function不一定是 logistics function, 唯一 09/02 13:45
70F：→ yyawlin: 可以說是a sequence of nonlinear transformations of a 09/02 13:45
71F：→ yyawlin: vector 09/02 13:45
※ 編輯: dharma (211.72.78.253 臺灣), 09/12/2019 13:30:33