作者azzc1031 (azzc1031)
看板Statistics
标题[问题] 最小平方法为何要先「平方」
时间Wed Aug 7 17:31:18 2019
最小平方法（Least Squares)的概念是：
我们想找到一条直线
使得所有资料点与这条直线的距离最短
如下图所示，我们希望绿色线的距离最短：
https://i.imgur.com/ccaENMc.jpg
然後将它平方，我们希望正方形面积加起来最小：
https://i.imgur.com/kEyXFlT.jpg
我的疑问是，为何要先将残差平方後再加总呢？照理说，找到残差加总为0的线就是最佳
配适线了吧？
麻烦大神解惑!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.12.4.158 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1565170280.A.3EA.html
※ 编辑: azzc1031 (101.12.4.158 台湾), 08/07/2019 17:32:00
※ 编辑: azzc1031 (101.12.4.158 台湾), 08/07/2019 17:34:15
1F：→ celestialgod: 残差有正有负 取绝对值不好微分 所以取平方 08/07 17:58
2F：推 aikotoba: 绝对值不好计算以及推导 08/07 18:26
3F：推 j401f2: 先平方是因为平面座标两点的距离是平方开根号，但根号在 08/07 19:10
4F：→ j401f2: 统计上不好处理，所以取其平方和作为距离的总和；如果用和 08/07 19:10
5F：→ j401f2: 的平方就意义上完全失去距离的概念。 08/07 19:10
6F：→ j401f2: 跟正方形面积毫无关系 08/07 19:11
7F：→ myty383: 因为残差和最小(不平方)等价於残差和要是零，这个时候你 08/07 19:48
8F：→ myty383: 怎麽找残差和最小？可以说是模型结构本身造成的，也可以 08/07 19:48
9F：→ myty383: 说是直接求残差和最小会造成一些资讯丧失，个人浅见 08/07 19:48
10F：→ hsnuyi: ... "距离"的定义有很多种... 08/07 20:04
11F：推 youngsam: 你也可以用绝对值（即距离）但数学上不好操作（其实现在 08/07 20:07
12F：→ youngsam: 电脑都可以做了） 08/07 20:07
13F：→ azzc1031: (我是原po)，关於正方形面积的概念，我是从MIT的开放课 08/07 20:09
14F：→ azzc1031: 程得来的： 08/07 20:09
17F：→ recorriendo: 你的直线要决定截距和斜率 若只有"残差加总为0"一个 08/08 04:07
18F：→ recorriendo: 限制式就有无限多组解 08/08 04:08
19F：→ recorriendo: 要求"残差绝对值和最小"在这个年代有电脑其实是很好 08/08 04:10
20F：→ recorriendo: 解 纸笔年代只能解"平方和最小" 08/08 04:11
21F：→ recorriendo: 纸笔年代的最小平方法大家沿用而已 并没有一定要用它 08/08 04:18
22F：→ recorriendo: 的道理 你要绝对值和最小也可以 反正电脑很容易解 08/08 04:19
23F：→ recorriendo: 当然最小平方法有理论上的一些优点 例如给出BLUE 08/08 04:20
24F：→ recorriendo: 也有缺点 例如outlier对回归的影响特别大 08/08 04:21
25F：推 raiderho: 若采用最小化绝对值就是分位数回归，数学上不好处理，但 08/09 07:04
26F：→ raiderho: 也非常有用，特点是不会被极端值影响。另外，平方残差不 08/09 07:04
27F：→ raiderho: 只是因为好处理，可以google「误差论与最小平方法」 08/09 07:04
28F：推 backprog: 容忍小的误差，惩罚大的误差 08/17 11:48
29F：推 widlar: 这是人为设计出来的一个函数，使函数越小则越接近最佳解， 08/23 13:55
30F：→ widlar: 所以不一定要用平方，譬如用四次方或绝对值也有一样的效果 08/23 13:55
31F：→ widlar: ，但应用上会选择比较好用的，所以就很常看到用平方来处理 08/23 13:55
32F：→ widlar: 。 08/23 13:55
33F：推 changeengjap: 1.什麽都不处理正负会相消 就没啥意义了 08/24 12:36
34F：→ changeengjap: 2.绝对值跟平方的功能差不多 就是把负号弄不见 08/24 12:36
35F：→ changeengjap: 3.绝对值在数学处理上就是很烦,平方好操作很多 08/24 12:37
36F：→ changeengjap: 你自己想下, 大一或大二教绝对值, 然後在那边推导, 08/24 12:38
37F：→ changeengjap: 应该无人听有,但用平方,微分一下结果就出来了, 08/24 12:38
38F：→ changeengjap: 还可以复习下Cramers' Rule, 教学效果好太多 08/24 12:39
39F：→ changeengjap: 另外就是实务上也已经大多用最小平方法 08/24 12:39
40F：→ changeengjap: 你用其他的也不是说不行,但现在看起来会不太必要 08/24 12:39
41F：推 raiderho: 分位数回归蛮有用的唷 08/24 16:10
42F：推 VIATOR: 推recorriendo 10/12 04:40