作者DLHZ (going faster)
看板Grad-ProbAsk
标题Re: [理工] 线代 102交大 svd
时间Sat Dec 28 15:26:27 2019
※ 引述《ching4562 (monster710623)》之铭言：
: https://i.imgur.com/UhN9ST2.jpg
: https://i.imgur.com/9lFqTr9.jpg
: 问一下(b)圈起来的地方为何会相等？
SVD的方向目前没什麽想法
从另一个观点解的话
在Ax=b有解的情况下(即b属於A的行空间)
x属於Rn
由列空间是零空间的orthogonal complement可知
x可以分解成y+z
其中y属於A的列空间z属於A的零空间
再由 ||x||^2 = ||y||^2 + ||z||^2
可知最小2-norm的解必定属於列空间
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.46.0.66 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Grad-ProbAsk/M.1577517990.A.513.html
1F：推 mi981027: 这是证Ax = b 的minimal solution在A的列空间的方式 12/28 16:31
2F：→ mi981027: 但题目要证的是Ax = b 的 minimal least square solutio 12/28 16:31
3F：→ mi981027: n 也在A的列空间 我觉得方向应该差不多 但可能还是要从A 12/28 16:31
4F：→ mi981027: +的方向下手?? 12/28 16:31
我试着写一下
假设A为一m*n 矩阵，rankA = r
-> v1~vr为列空间的基底，vr+1~vn为零空间的基底。
以下用S代表sigma
Ax = b = USV^Tx
x = V(S^+)U^Tb, xi = (ui^T b/si) vi
可知解x皆为vi的线性组合 -> 属於列空间。
若n = r，零空间只有0，解唯一。
若n > r，存在齐次解使得一般解等於特殊解加上齐次解。
使得xi = Sigma(i=1~r) (u^T b/si) vi + Sigma(i=r+1~n) civi
再来相似於前面毕氏定理的说明，可知最小2-norm的x属於列空间。
5F：推 gash55025502: 其实就把Ax=b改成A^T*Ax=A^Tb就好了 也可以得到x属 12/28 16:44
6F：→ gash55025502: 於Rn 12/28 16:44
※ 编辑: DLHZ (114.46.0.66 台湾), 12/28/2019 17:17:08
7F：推 pyramidinc: least square solution 可以写成 particular solution 12/28 17:47
8F：→ pyramidinc: + general solution 而general solution 又是属於Nul 12/28 17:47
9F：→ pyramidinc: l space 所以 长度最短的least square solution 等於 12/28 17:47
10F：→ pyramidinc: 求 least square solution 减掉他在null space的投影 12/28 17:47
11F：→ pyramidinc: 这又相当於直接投影在row space 上 12/28 17:47
12F：推 mistel: 楼上p大说的应该不是general solution而是homogeneous so 12/28 18:00
13F：→ mistel: lution？ 12/28 18:00
14F：推 pyramidinc: 我发现我写的就跟楼主一样意思 哈哈 可是least square 12/28 18:01
15F：→ pyramidinc: solution 就是属於Ax=b 的行空间 所以算的方式就跟算 12/28 18:01
16F：→ pyramidinc: minimal solution 一样不是吗 12/28 18:01
17F：→ pyramidinc: 哦对 我说错了 抱歉 12/28 18:01
18F：→ pyramidinc: 我的想法是 particular solution + homogenous soluti 12/28 18:06
19F：→ pyramidinc: on 也可以写成 particular solution - homogeneous so 12/28 18:06
20F：→ pyramidinc: lution 这样子算shortest 的意思就是算 particular so 12/28 18:06
21F：→ pyramidinc: lution 跟null space 的距离 所以就是用 least square 12/28 18:06
22F：→ pyramidinc: solution - 在null space的投影 这样就等於直投影在r 12/28 18:06
23F：→ pyramidinc: ow space 12/28 18:06