作者azzc1031 (azzc1031)
看板Statistics
標題[問題] 最小平方法為何要先「平方」
時間Wed Aug 7 17:31:18 2019
最小平方法（Least Squares)的概念是：
我們想找到一條直線
使得所有資料點與這條直線的距離最短
如下圖所示，我們希望綠色線的距離最短：
https://i.imgur.com/ccaENMc.jpg
然後將它平方，我們希望正方形面積加起來最小：
https://i.imgur.com/kEyXFlT.jpg
我的疑問是，為何要先將殘差平方後再加總呢？照理說，找到殘差加總為0的線就是最佳
配適線了吧？
麻煩大神解惑!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.4.158 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1565170280.A.3EA.html
※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:32:00
※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:34:15
1F：→ celestialgod: 殘差有正有負 取絕對值不好微分 所以取平方 08/07 17:58
2F：推 aikotoba: 絕對值不好計算以及推導 08/07 18:26
3F：推 j401f2: 先平方是因為平面座標兩點的距離是平方開根號，但根號在 08/07 19:10
4F：→ j401f2: 統計上不好處理，所以取其平方和作為距離的總和；如果用和 08/07 19:10
5F：→ j401f2: 的平方就意義上完全失去距離的概念。 08/07 19:10
6F：→ j401f2: 跟正方形面積毫無關係 08/07 19:11
7F：→ myty383: 因為殘差和最小(不平方)等價於殘差和要是零，這個時候你 08/07 19:48
8F：→ myty383: 怎麼找殘差和最小？可以說是模型結構本身造成的，也可以 08/07 19:48
9F：→ myty383: 說是直接求殘差和最小會造成一些資訊喪失，個人淺見 08/07 19:48
10F：→ hsnuyi: ... "距離"的定義有很多種... 08/07 20:04
11F：推 youngsam: 你也可以用絕對值（即距離）但數學上不好操作（其實現在 08/07 20:07
12F：→ youngsam: 電腦都可以做了） 08/07 20:07
13F：→ azzc1031: (我是原po)，關於正方形面積的概念，我是從MIT的開放課 08/07 20:09
14F：→ azzc1031: 程得來的： 08/07 20:09
17F：→ recorriendo: 你的直線要決定截距和斜率 若只有"殘差加總為0"一個 08/08 04:07
18F：→ recorriendo: 限制式就有無限多組解 08/08 04:08
19F：→ recorriendo: 要求"殘差絕對值和最小"在這個年代有電腦其實是很好 08/08 04:10
20F：→ recorriendo: 解 紙筆年代只能解"平方和最小" 08/08 04:11
21F：→ recorriendo: 紙筆年代的最小平方法大家沿用而已 並沒有一定要用它 08/08 04:18
22F：→ recorriendo: 的道理 你要絕對值和最小也可以 反正電腦很容易解 08/08 04:19
23F：→ recorriendo: 當然最小平方法有理論上的一些優點 例如給出BLUE 08/08 04:20
24F：→ recorriendo: 也有缺點 例如outlier對迴歸的影響特別大 08/08 04:21
25F：推 raiderho: 若採用最小化絕對值就是分位數回歸，數學上不好處理，但 08/09 07:04
26F：→ raiderho: 也非常有用，特點是不會被極端值影響。另外，平方殘差不 08/09 07:04
27F：→ raiderho: 只是因為好處理，可以google「誤差論與最小平方法」 08/09 07:04
28F：推 backprog: 容忍小的誤差，懲罰大的誤差 08/17 11:48
29F：推 widlar: 這是人為設計出來的一個函數，使函數越小則越接近最佳解， 08/23 13:55
30F：→ widlar: 所以不一定要用平方，譬如用四次方或絕對值也有一樣的效果 08/23 13:55
31F：→ widlar: ，但應用上會選擇比較好用的，所以就很常看到用平方來處理 08/23 13:55
32F：→ widlar: 。 08/23 13:55
33F：推 changeengjap: 1.什麼都不處理正負會相消 就沒啥意義了 08/24 12:36
34F：→ changeengjap: 2.絕對值跟平方的功能差不多 就是把負號弄不見 08/24 12:36
35F：→ changeengjap: 3.絕對值在數學處理上就是很煩,平方好操作很多 08/24 12:37
36F：→ changeengjap: 你自己想下, 大一或大二教絕對值, 然後在那邊推導, 08/24 12:38
37F：→ changeengjap: 應該無人聽有,但用平方,微分一下結果就出來了, 08/24 12:38
38F：→ changeengjap: 還可以複習下Cramers' Rule, 教學效果好太多 08/24 12:39
39F：→ changeengjap: 另外就是實務上也已經大多用最小平方法 08/24 12:39
40F：→ changeengjap: 你用其他的也不是說不行,但現在看起來會不太必要 08/24 12:39
41F：推 raiderho: 分位數回歸蠻有用的唷 08/24 16:10
42F：推 VIATOR: 推recorriendo 10/12 04:40