作者arfa0711 (吃青椒)
看板DataScience
標題[問題] AI CNN每一層是如何想出來的?
時間Wed Sep 16 23:40:23 2020
最近在做專題AI CNN那方面，
目前已知些最基本的架構，
舉例:Average pooling
Max pooling
ReLU
Fully Connect(FC)
Normalization
當然不只這些，今天看AlexNet的Paper 突然想到設計問題..
Why第一層可能是... (5層)
埢積 -> pooling -> ReLU -> normal.. -> FC
Why第二層可能是... (3層)
埢積 -> ReLU -> FC
以此類推 (4層)
.
.
.
問題1: 為什麼要"這樣"設計? (有些複雜有些稀疏)
問題2: 這是機密嗎? 因為Paper都不會說明，只有結果。
以上
謝謝各位版友!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.246.41.78 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1600270832.A.BB2.html
※ 編輯: arfa0711 (111.246.41.78 臺灣), 09/16/2020 23:42:40
1F：推 acctouhou: 你如果知道每一個操作在幹嘛就不會問這個問題勒 09/17 01:36
可能你誤會了!我的問題比較偏向lin大大說的那樣
2F：→ RumiManiac: AlexNet 參考 LeNet-5，其他打不贏就加入 09/17 02:10
3F：→ RumiManiac: 你可以看看 LeNet-5 的 paper 09/17 02:11
了解，因為我也有看網路上GoogleNet的講解(不是paper)
裡面當然很多結構架構都是他們設計好了，
但 好像很少特別說明 每一層詳細的構造。
4F：→ linfeelin: 就是一直試，可以先考慮輸入的維度或是你想要解決什麼 09/17 10:23
5F：→ linfeelin: 樣的問題，才來建構每一層 09/17 10:23
所以其實他們也是一直try最後才得出paper上面看到的 感謝
※ 編輯: arfa0711 (118.163.199.180 臺灣), 09/17/2020 11:08:52
6F：推 wang19980531: 這是DL 不是AI 09/17 13:27
7F：推 ddavid: DL也是AI會用到的技術，並沒有太大問題 09/17 15:32
8F：→ ddavid: 然後其實是先理解每一種層能做到什麼效果，理解自己要解的 09/17 15:33
9F：→ ddavid: 問題應該需要哪些效果，先有個預想以後才去猜想可以怎麼建 09/17 15:33
10F：→ ddavid: 構，提出一些可能的模型，初步測試後發現結果在什麼方面有 09/17 15:34
11F：→ ddavid: 不足跟缺失，才去修改或重建 09/17 15:35
12F：→ ddavid: 不是一開始就try try try，問題隨便大一點try一次可能就一 09/17 15:35
13F：→ ddavid: 星期以上，不可能沒有任何預想就從try開始的 09/17 15:36
14F：→ ddavid: 至於Paper沒詳細說明，有時是篇幅不夠，有時是有些組合本 09/17 15:37
15F：→ ddavid: 來就已經為人熟知 09/17 15:37
16F：推 ddavid: 去看以前的相關reference就解釋過了，所以他就只側重在自 09/17 15:40
17F：→ ddavid: 己有進一步改進的地方 09/17 15:40
18F：→ ddavid: 像是為何Conv->ReLU->Conv->ReLU->Pooling而不是 09/17 15:41
19F：→ ddavid: Conv->ReLU->Pooling循環兩次之類的，有些其實自己慢慢推 09/17 15:42
20F：→ ddavid: 敲每層的效果與副作用也可以得到概念 09/17 15:43
21F：→ arfa0711: 謝謝D大 很詳細！ 09/18 09:52
22F：→ chang1248w: 我怎麼記得看到比較多conv->bn->relu.. 09/18 21:53
23F：推 world4jason: 某樓真的在講幹話 呵呵 09/19 16:23
24F：→ world4jason: 通常是一個好的套路 大家就會沿用 而好的套路就是try 09/19 16:23
25F：→ world4jason: 出來的 沒有為什麼 09/19 16:23
26F：→ world4jason: 如果你真的想問 那應該是try的邏輯 這要去看paper 09/19 16:26
27F：→ world4jason: 發paper通常兩種 一種是我假設某個東西很好 我實作 09/19 16:26
28F：→ world4jason: 驗證 發現很好 那我發paper跟大家說 另一個就是我東 09/19 16:26
29F：→ world4jason: 改改西改改 發現很好 找個解釋or強行給個解釋 09/19 16:26
30F：推 email81227: shorturl.at/bxzK3 這篇文獻不知道能不能幫忙? 09/20 18:03
31F：推 rain45: 原po應該不是想問每個conv block內部設計，畢竟他已經知道 09/26 10:16
32F：→ rain45: relu 、池化等概念，而是問說為何這邊連續接5個conv block 09/26 10:16
33F：→ rain45: ，後面連續接3個conv block，這個「數量」是怎麼設計的， 09/26 10:16
34F：→ rain45: 不知道理解有沒有誤 09/26 10:16
35F：→ erre: 就是調參數的概念 10/03 14:49
36F：→ kevin8197: 覺得調參＋1 10/07 13:33
37F：推 wang19980531: Try and error 10/16 00:50
38F：→ howayi: 看一下 CS231n 介紹神經網路的歷史，大概就能知道架構怎麼 10/28 07:33