作者DLHZ (going faster)
看板Grad-ProbAsk
標題Re: [理工] 線代 102交大 svd
時間Sat Dec 28 15:26:27 2019
※ 引述《ching4562 (monster710623)》之銘言：
: https://i.imgur.com/UhN9ST2.jpg
: https://i.imgur.com/9lFqTr9.jpg
: 問一下(b)圈起來的地方為何會相等？
SVD的方向目前沒什麼想法
從另一個觀點解的話
在Ax=b有解的情況下(即b屬於A的行空間)
x屬於Rn
由列空間是零空間的orthogonal complement可知
x可以分解成y+z
其中y屬於A的列空間z屬於A的零空間
再由 ||x||^2 = ||y||^2 + ||z||^2
可知最小2-norm的解必定屬於列空間
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.46.0.66 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Grad-ProbAsk/M.1577517990.A.513.html
1F：推 mi981027: 這是證Ax = b 的minimal solution在A的列空間的方式 12/28 16:31
2F：→ mi981027: 但題目要證的是Ax = b 的 minimal least square solutio 12/28 16:31
3F：→ mi981027: n 也在A的列空間 我覺得方向應該差不多 但可能還是要從A 12/28 16:31
4F：→ mi981027: +的方向下手?? 12/28 16:31
我試著寫一下
假設A為一m*n 矩陣，rankA = r
-> v1~vr為列空間的基底，vr+1~vn為零空間的基底。
以下用S代表sigma
Ax = b = USV^Tx
x = V(S^+)U^Tb, xi = (ui^T b/si) vi
可知解x皆為vi的線性組合 -> 屬於列空間。
若n = r，零空間只有0，解唯一。
若n > r，存在齊次解使得一般解等於特殊解加上齊次解。
使得xi = Sigma(i=1~r) (u^T b/si) vi + Sigma(i=r+1~n) civi
再來相似於前面畢氏定理的說明，可知最小2-norm的x屬於列空間。
5F：推 gash55025502: 其實就把Ax=b改成A^T*Ax=A^Tb就好了 也可以得到x屬 12/28 16:44
6F：→ gash55025502: 於Rn 12/28 16:44
※ 編輯: DLHZ (114.46.0.66 臺灣), 12/28/2019 17:17:08
7F：推 pyramidinc: least square solution 可以寫成 particular solution 12/28 17:47
8F：→ pyramidinc: + general solution 而general solution 又是屬於Nul 12/28 17:47
9F：→ pyramidinc: l space 所以 長度最短的least square solution 等於 12/28 17:47
10F：→ pyramidinc: 求 least square solution 減掉他在null space的投影 12/28 17:47
11F：→ pyramidinc: 這又相當於直接投影在row space 上 12/28 17:47
12F：推 mistel: 樓上p大說的應該不是general solution而是homogeneous so 12/28 18:00
13F：→ mistel: lution？ 12/28 18:00
14F：推 pyramidinc: 我發現我寫的就跟樓主一樣意思 哈哈 可是least square 12/28 18:01
15F：→ pyramidinc: solution 就是屬於Ax=b 的行空間 所以算的方式就跟算 12/28 18:01
16F：→ pyramidinc: minimal solution 一樣不是嗎 12/28 18:01
17F：→ pyramidinc: 哦對 我說錯了 抱歉 12/28 18:01
18F：→ pyramidinc: 我的想法是 particular solution + homogenous soluti 12/28 18:06
19F：→ pyramidinc: on 也可以寫成 particular solution - homogeneous so 12/28 18:06
20F：→ pyramidinc: lution 這樣子算shortest 的意思就是算 particular so 12/28 18:06
21F：→ pyramidinc: lution 跟null space 的距離 所以就是用 least square 12/28 18:06
22F：→ pyramidinc: solution - 在null space的投影 這樣就等於直投影在r 12/28 18:06
23F：→ pyramidinc: ow space 12/28 18:06