作者azzc1031 (azzc1031)
看板Statistics
標題[問題] 最小平方法為何要先「平方」
時間Wed Aug 7 17:31:18 2019
最小平方法(Least Squares)的概念是:
我們想找到一條直線
使得所有資料點與這條直線的距離最短
如下圖所示,我們希望綠色線的距離最短:
https://i.imgur.com/ccaENMc.jpg
然後將它平方,我們希望正方形面積加起來最小:
https://i.imgur.com/kEyXFlT.jpg
我的疑問是,為何要先將殘差平方後再加總呢?照理說,找到殘差加總為0的線就是最佳
配適線了吧?
麻煩大神解惑!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.4.158 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1565170280.A.3EA.html
※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:32:00
※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:34:15
1F:→ celestialgod: 殘差有正有負 取絕對值不好微分 所以取平方 08/07 17:58
2F:推 aikotoba: 絕對值不好計算以及推導 08/07 18:26
3F:推 j401f2: 先平方是因為平面座標兩點的距離是平方開根號,但根號在 08/07 19:10
4F:→ j401f2: 統計上不好處理,所以取其平方和作為距離的總和;如果用和 08/07 19:10
5F:→ j401f2: 的平方就意義上完全失去距離的概念。 08/07 19:10
6F:→ j401f2: 跟正方形面積毫無關係 08/07 19:11
7F:→ myty383: 因為殘差和最小(不平方)等價於殘差和要是零,這個時候你 08/07 19:48
8F:→ myty383: 怎麼找殘差和最小?可以說是模型結構本身造成的,也可以 08/07 19:48
9F:→ myty383: 說是直接求殘差和最小會造成一些資訊喪失,個人淺見 08/07 19:48
10F:→ hsnuyi: ... "距離"的定義有很多種... 08/07 20:04
11F:推 youngsam: 你也可以用絕對值(即距離)但數學上不好操作(其實現在 08/07 20:07
12F:→ youngsam: 電腦都可以做了) 08/07 20:07
13F:→ azzc1031: (我是原po),關於正方形面積的概念,我是從MIT的開放課 08/07 20:09
14F:→ azzc1031: 程得來的: 08/07 20:09
17F:→ recorriendo: 你的直線要決定截距和斜率 若只有"殘差加總為0"一個 08/08 04:07
18F:→ recorriendo: 限制式就有無限多組解 08/08 04:08
19F:→ recorriendo: 要求"殘差絕對值和最小"在這個年代有電腦其實是很好 08/08 04:10
20F:→ recorriendo: 解 紙筆年代只能解"平方和最小" 08/08 04:11
21F:→ recorriendo: 紙筆年代的最小平方法大家沿用而已 並沒有一定要用它 08/08 04:18
22F:→ recorriendo: 的道理 你要絕對值和最小也可以 反正電腦很容易解 08/08 04:19
23F:→ recorriendo: 當然最小平方法有理論上的一些優點 例如給出BLUE 08/08 04:20
24F:→ recorriendo: 也有缺點 例如outlier對迴歸的影響特別大 08/08 04:21
25F:推 raiderho: 若採用最小化絕對值就是分位數回歸,數學上不好處理,但 08/09 07:04
26F:→ raiderho: 也非常有用,特點是不會被極端值影響。另外,平方殘差不 08/09 07:04
27F:→ raiderho: 只是因為好處理,可以google「誤差論與最小平方法」 08/09 07:04
28F:推 backprog: 容忍小的誤差,懲罰大的誤差 08/17 11:48
29F:推 widlar: 這是人為設計出來的一個函數,使函數越小則越接近最佳解, 08/23 13:55
30F:→ widlar: 所以不一定要用平方,譬如用四次方或絕對值也有一樣的效果 08/23 13:55
31F:→ widlar: ,但應用上會選擇比較好用的,所以就很常看到用平方來處理 08/23 13:55
32F:→ widlar: 。 08/23 13:55
33F:推 changeengjap: 1.什麼都不處理正負會相消 就沒啥意義了 08/24 12:36
34F:→ changeengjap: 2.絕對值跟平方的功能差不多 就是把負號弄不見 08/24 12:36
35F:→ changeengjap: 3.絕對值在數學處理上就是很煩,平方好操作很多 08/24 12:37
36F:→ changeengjap: 你自己想下, 大一或大二教絕對值, 然後在那邊推導, 08/24 12:38
37F:→ changeengjap: 應該無人聽有,但用平方,微分一下結果就出來了, 08/24 12:38
38F:→ changeengjap: 還可以複習下Cramers' Rule, 教學效果好太多 08/24 12:39
39F:→ changeengjap: 另外就是實務上也已經大多用最小平方法 08/24 12:39
40F:→ changeengjap: 你用其他的也不是說不行,但現在看起來會不太必要 08/24 12:39
41F:推 raiderho: 分位數回歸蠻有用的唷 08/24 16:10
42F:推 VIATOR: 推recorriendo 10/12 04:40