最近在自學人工神經網路(Artificial Neural Network)
這個方法在機器學習領域算是重要的工具
簡單來說既是將inputs透過線性方法先進行組合
然後再透過非線性轉換(例如Sigmoid或是ReLU)再進行輸出
在進行線性組合那個部分需要對parameters, w進行估計
這個部分和傳統的回歸模型非常類似
讓我不禁好奇是否ANN透過不斷iterate找尋最佳化w的過程
其實就是在創造一個擬合statistical distribution的過程?
如果是這樣的話，那和regression model背後的邏輯就很接近了
各位高手對這樣的見解看法如何?
若有誤解請指教，謝謝
※ 編輯: incessantgas (71.58.82.199 美國), 06/23/2020 01:45:15
1F：推 joshddd: 同問 06/23 07:46
2F：→ yhliu: ANN 通常採用的是 logistic form, 而它的 "參數估計" 是直 06/23 08:32
3F：→ yhliu: 接按特定公式計算. 它是一直以新的資料更新參數, 並不考慮 06/23 08:34
4F：→ yhliu: 參數估計方法的 "最優性", 也不考慮模型的統計適切性. 06/23 08:36
5F：→ yhliu: 但由於 input 一直在增加 (n→∞), 所以, 最終得到的預測 06/23 08:38
6F：→ yhliu: 模型將趨近於設定模型與事實最接近的狀態. 06/23 08:39
7F：→ yhliu: 統計的 logistic regression model 操作上只有一組固定 n 06/23 08:40
8F：→ yhliu: 的資料, 因此除了考慮模型的實務與統計適切性, 也考慮了估 06/23 08:42
9F：→ yhliu: 計方法的最優性. 因為不是線性模型, 所以要得到最後的估計 06/23 08:44
10F：→ yhliu: 或說是預測模型, 並沒有可直接套用的一次計算式, 而是用迭 06/23 08:45
11F：→ yhliu: 代逼近的方法. 06/23 08:46
12F：→ yhliu: 上面所說的 "統計適切性" 指的是模型中對資料所來自群體機 06/23 08:48
13F：→ yhliu: 率分布的假設, 資料變異(分散)相關的假設等. 實務適切性是 06/23 08:50
14F：→ yhliu: 指模型與事實是否足夠接近. 而 "最優性" 指的是估計方法產 06/23 08:53
15F：→ yhliu: 生之估計結果與 "真實參數值" 之間誤差 "最小". "真實參數 06/23 08:55
16F：→ yhliu: 值就是該模型與真實狀況最接近的狀態所對應的模型參數值. 06/23 08:57
17F：→ yhliu: 統計的 "最優" 考慮一個結果就是估計值與 "真實參數值" 最 06/23 08:59
18F：→ yhliu: 接近 (相同 n), 或最快趨近 (n→∞). 但由於 ANN 面對的是 06/23 09:00
19F：→ yhliu: n→∞, 對趨近最終值速度及前面的有限 n 並不注重, 所以只 06/23 09:02
20F：→ yhliu: 是取一個合理、易算的參數估計方法, 而不像統計人員精打細 06/23 09:04
21F：→ yhliu: 算地想用有限 n 筆資料得到最接近真實參數值的估計. 06/23 09:06