最近在自学人工神经网路(Artificial Neural Network)
这个方法在机器学习领域算是重要的工具
简单来说既是将inputs透过线性方法先进行组合
然後再透过非线性转换(例如Sigmoid或是ReLU)再进行输出
在进行线性组合那个部分需要对parameters, w进行估计
这个部分和传统的回归模型非常类似
让我不禁好奇是否ANN透过不断iterate找寻最佳化w的过程
其实就是在创造一个拟合statistical distribution的过程?
如果是这样的话，那和regression model背後的逻辑就很接近了
各位高手对这样的见解看法如何?
若有误解请指教，谢谢
※ 编辑: incessantgas (71.58.82.199 美国), 06/23/2020 01:45:15
1F：推 joshddd: 同问 06/23 07:46
2F：→ yhliu: ANN 通常采用的是 logistic form, 而它的 "参数估计" 是直 06/23 08:32
3F：→ yhliu: 接按特定公式计算. 它是一直以新的资料更新参数, 并不考虑 06/23 08:34
4F：→ yhliu: 参数估计方法的 "最优性", 也不考虑模型的统计适切性. 06/23 08:36
5F：→ yhliu: 但由於 input 一直在增加 (n→∞), 所以, 最终得到的预测 06/23 08:38
6F：→ yhliu: 模型将趋近於设定模型与事实最接近的状态. 06/23 08:39
7F：→ yhliu: 统计的 logistic regression model 操作上只有一组固定 n 06/23 08:40
8F：→ yhliu: 的资料, 因此除了考虑模型的实务与统计适切性, 也考虑了估 06/23 08:42
9F：→ yhliu: 计方法的最优性. 因为不是线性模型, 所以要得到最後的估计 06/23 08:44
10F：→ yhliu: 或说是预测模型, 并没有可直接套用的一次计算式, 而是用迭 06/23 08:45
11F：→ yhliu: 代逼近的方法. 06/23 08:46
12F：→ yhliu: 上面所说的 "统计适切性" 指的是模型中对资料所来自群体机 06/23 08:48
13F：→ yhliu: 率分布的假设, 资料变异(分散)相关的假设等. 实务适切性是 06/23 08:50
14F：→ yhliu: 指模型与事实是否足够接近. 而 "最优性" 指的是估计方法产 06/23 08:53
15F：→ yhliu: 生之估计结果与 "真实参数值" 之间误差 "最小". "真实参数 06/23 08:55
16F：→ yhliu: 值就是该模型与真实状况最接近的状态所对应的模型参数值. 06/23 08:57
17F：→ yhliu: 统计的 "最优" 考虑一个结果就是估计值与 "真实参数值" 最 06/23 08:59
18F：→ yhliu: 接近 (相同 n), 或最快趋近 (n→∞). 但由於 ANN 面对的是 06/23 09:00
19F：→ yhliu: n→∞, 对趋近最终值速度及前面的有限 n 并不注重, 所以只 06/23 09:02
20F：→ yhliu: 是取一个合理、易算的参数估计方法, 而不像统计人员精打细 06/23 09:04
21F：→ yhliu: 算地想用有限 n 笔资料得到最接近真实参数值的估计. 06/23 09:06