作者znmkhxrw (QQ)
看板Math
标题[其他] 为何讯号处理要用随机过程建模
时间Sat Sep 11 11:18:28 2021
不好意思手机发文排版不太好, 想请教各位关於标题的一些想法, 困扰我两年了...:
================================
看AEC, ANC, beamforming...诸如这些讯号处理算法时对於数学式很头痛, 不像原文书那
样假设,符号, 定义, 推论都很明确
一般逻辑是先大致view他的数学式想表达什麽, 但是要复证时很容易出现说a式推到b式是
依据某个reference, 而去找reference时他要马又是引用某个reference, 要马就是他的
条件或是数学式跟引用他的文章对不上, 更痛苦的是马上就冒出了某段psuedo code演算
法, 然後声称这段算法就是在逼近或实作他的数学式...
尤其讯号处理的数学式几乎都是用随机过程建模的, 以及在处理期望值, 但却又因为实务
上真正的input根本只是某串已知的实数列, 比如某个人的声音, 某首歌, 某段噪音, 或
是某段模拟的讯号...而又有听说一些神奇的说法:
1. 在进电脑前你根本不知道是什麽讯号
2. 电脑看到x_n时, 你永远不知道x_n+1是什麽
因此这里就有两个方向的问题:
(1) 为什麽要用随机过程建模?
这个方向就是会假设实数列x_n是某个随机过程X_n(w)取某个事件w而得到的结果, 但是因
为实务上只有拿到某串x_n, 所以在计算期望值时都只能假设这随机过程是ergodic然後用
各种moving average的方式去逼近期望值(更不用说有各种移动平均的定义, 每个定义哪
可能都逼近到一样的期望值), 而且论文的演算法也都只是在算x_n
也就是说, 我看不到建了这个随机过程的好处是什麽, 反而还要为了这些建模假设一堆实
务上看不到的东西, 比如w是不重要的, 机率空间是不重要的, 重要的是机率密度函数...
之类的说法
(2) 如果只是对x_n做实数列假设会怎样吗?
有诸多关於实数列定理描述如: 数列满足什麽条件就会有什麽性质. 为什麽讯号处理不这
样就好了, 还很好验证, 比如某个实讯号不满足某个结论, 那他一定可以藉由某个定理去
验证说不满足某个条件
这些疑问导致两个心得是:
(a) 论文的理论推导跟演算法根本很难对上, 但是演算法却有理论的"影子跟味道"...而
实刻演算法却又"大致上有效果", 所以又觉得他一定有道理在, 只是写不清楚或是自己推
导不出来而已
(b) 因为notation不清楚导致很难验证他到底证的是否正确, 有时候x_n = X_n(w), 有时
候又有x_n = X(w_n)的味道, 更有时候又加入了一些"文字型叙述的定理或假设"就直接说
a式推到b式, 但是去google这些关键字时, 这定理成立的前提也不一定原论文会满足...
===============================
总之, 工作上从机器学习, 深度学习到讯号处理, 这些领域的建模都跟统计息息相关, 然
後都是用随机过程与期望值...所以看这些领域相关的论文都很痛苦, 为什麽不能像分析
与代数领域的数学一样定义, 假设, 推论都很明确, 统计这领域却带给我很多模糊的感觉
...当然随机过程的严格定义用抽象测度空间很明确没错, 但是面临论文证明或是文字解
释时又会充斥着: 样本空间不重要, w不重要, X_n(w)的c.d.f.才重要(通常会用假设的方
式去说他有某个c.d.f., 可是你根本无法验证你的x_n是否是这个c.d.f取出来的, 比如un
iform distribution也是有可能都抽出一样的点, 只是机率非常低)...等等这些似是而非
的词
以上是我的困扰与看法, 再请有涉猎的人分享一下是不是我被卡在某个盲点或是有什麽re
ference可以解决我的问题, 非常感谢!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.137.255.31 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Math/M.1631330310.A.116.html
1F:→ recorriendo : 因为你读的是论文 不是书09/11 13:08
2F:→ recorriendo : 论文就是要展现新的成果 不是慢慢来从基础建立理论 09/11 13:09
3F:推 recorriendo : 想要懂理论请去找statistical signal processing 09/11 13:11
4F:→ recorriendo : 的书看 09/11 13:11
我知道论文会把理论当已知, 而因为在业界了所以学习的方向变成缺什麽再从那个关键字
决定要补什麽, 但是我就是很常遇到用论文的关键字所搜寻到的东西跟论文对不起来
比如某式推得某式是因为大数定理, 那我就去查大数定理的严格叙述, 而光是要把论文的
符号跟严格数学定理的符号对上就要猜不少时间(比如x, X, x_n, X_n), 更甚者其实那些
定理的条件都不少, 我等於是要帮论文去下注解说他假设满足这些条件
即便以上事情都顺了, 还是无法解决我原文的问题:
1. 如果不符合条件呢, 怎麽验证符不符合条件? 因为我们无法"检验"随机变数是否满足
条件, 因为拿到的资料都已经是取样後的值
2. 不用随机过程/变数的话可以吗?
总之我相信全部都有严格定义跟假设下当然是对的, 只是论文在引用或书写时以及声称用
某个演算法能够达到他的定理时, 我往往都对的很辛苦最後也是无法完美对上
补充: 关於符号混乱这件事, 这边有个例子是我以前询问的
https://moptt.tw/p/Math.M.1516676320.A.723
花了好多时间在猜他是x还是X还是p(x)还是p(w), 然後因为有Radon Nikodym定理所以感
觉换来换去也有道理, 但是此定理需要绝对连续的测度之类的条件, 我也没看到论文有这
些条件
等於是说, 我只能假设论文是基於"everything behaves well"然後什麽定理都可以用...
而最後在实作的部分, 不管他写的理论到底对还错, 只要"声称"我这个演算法在实作那些
理论, 并且实验起来有效果, 那就是有效果, 可是我就是无法"证明"他的演算法取limit
会是理论值
※ 编辑: znmkhxrw (111.255.239.106 台湾), 09/11/2021 13:32:43
5F:推 cuylerLin : 这个就是理论与实务(至少在台湾)巨大的差距,实务 09/11 14:38
6F:→ cuylerLin : 上在意的是一个东西「堪不堪用」(i.e., 在大多数情09/11 14:39
7F:→ cuylerLin : 况它都是对的,且业界其他人也都是这样用的话,尽管09/11 14:39
8F:→ cuylerLin : 它跟理论有所出入也会被接受,甚至开始脱离理论的严09/11 14:39
9F:→ cuylerLin : 谨度),所以对这些人来说发表新论文的方法就是不断09/11 14:39
10F:→ cuylerLin : 地引用前人的成果、调整一些参数达到「更好的」表现 09/11 14:39
11F:→ cuylerLin : ,基本上不会有人在意当出错的时候该怎麽办?这不是 09/11 14:39
12F:→ cuylerLin : 主流实务导向的人会在意的问题。如果你真的要有什麽09/11 14:39
13F:→ cuylerLin : 完备或系统化的训练,且最终目标是「真正创造出新的09/11 14:39
14F:→ cuylerLin : 东西」的话,就是要从高等微积分、测度高等机率、随09/11 14:39
15F:→ cuylerLin : 机过程、讯号处理、小波分析等地方出发了解,再慢慢09/11 14:39
16F:→ cuylerLin : 堆叠一定成熟的能力。09/11 14:39
17F:推 maplefff : 因为方便啊 09/11 20:11
18F:→ mantour : 我觉得可以想成如果要发表一个实用的演算法, 最重要 09/11 21:23
19F:→ mantour : 的点应该是他在某些情况比现在已知的演算法表现好09/11 21:23
20F:→ mantour : 理论只是用来解释怎麽想到要这样算的, 即使这个演算09/11 21:24
21F:→ mantour : 法的极限, 可以证明跟理论值之间有误差, 也就是有 09/11 21:26
22F:→ mantour : 理论上的bias, 只要在它的应用范围内这个bias不重要09/11 21:26
23F:→ mantour : 人家一点也不会在意 09/11 21:26
24F:→ recorriendo : 严格的条件是数学证明上有用 实务上不会一个一个验 09/11 22:59
25F:→ recorriendo : 证 统计信号处理基本上统计的部分就是noise model09/11 22:59
26F:→ recorriendo : 暴力的验证法就是直接量真实的noise和用假设的noi09/11 22:59
27F:→ recorriendo : se model模拟出来的理论noise比对机率分布 09/11 22:59
28F:→ recorriendo : 不暴力的验证法通常是针对特定性质的test 例如最基09/11 22:59
29F:→ recorriendo : 本的stationary就有好几种tests可供选择09/11 22:59
谢谢cu, ma, re三位分享, 综合起来我觉得我太在意他的理论跟他的实作"一定要对的上"
了, 或许中间的桥梁就是在"作者默认实际讯号会符合他的假设 & 演算法能逼近他的理论
"
至於到底有没有办法就是实验结果了, 只是实验不可能test all patterns, 所以当有不
对的地方就是让算法更进一步的空间了
※ 编辑: znmkhxrw (111.255.239.106 台湾), 09/14/2021 00:11:38
30F:推 cuylerLin : 来讲一个曾经作过的梦XD 很多写论文的人,特别是( 09/14 14:24
31F:→ cuylerLin : 但不限於)工科方面,基本上都是先有实验数据与结果 09/14 14:24
32F:→ cuylerLin : 出来後,才开始回头引用各种相关文献,再把会用到的 09/14 14:24
33F:→ cuylerLin : 方法剪剪贴贴。所以很多时候这些人其实根本不知道自 09/14 14:24
34F:→ cuylerLin : 己真正在用什麽,只是为了让论文有一个数学理论的「 09/14 14:24
35F:→ cuylerLin : 样子」在那边而已~甚至数学符号经常前後出入XD 09/14 14:24
36F:→ cuylerLin : 个人因本身背景出身的关系,觉得这样的操作相当危险 09/14 14:24
37F:→ cuylerLin : (precarious),而原PO有探究理论与实务如何桥接的 09/14 14:24
38F:→ cuylerLin : 学习心态实属难得,但真正想要解决这个 gap、真正创 09/14 14:24
39F:→ cuylerLin : 造出新的东西,在面对「当实务上出错时该怎麽办」的 09/14 14:24
40F:→ cuylerLin : 问题时,最後还是要回到理论发展本身,我们还是需要 09/14 14:24
41F:→ cuylerLin : 具备一定成熟度的数学能力与工具~ 09/14 14:24
谢谢你的鼓励~我再继续努力, 感恩!
※ 编辑: znmkhxrw (42.74.113.69 台湾), 09/14/2021 16:00:22