作者abc2090614 (casperxdd)
看板DataScience
标题Re: [问题] L1与L2正规化的差别
时间Fri Apr 6 09:13:00 2018
※ 引述《bokxko1023 (bokxko1023)》之铭言：
: 在网路上看了不少文章，但还是无法理解为何L1会具有稀疏的特性？这两者的具体差别到
: 底是什麽呢，能用gradient descent 在微分时的差别来解释吗？
: 另外想请问大家是怎麽选正规化的权重alpha的？虽说知道是用trial and error，但数字
: 范围这麽广，有没有限缩范围的方法呢？
: 感谢大家
一点数学史
大概在十几年前
Tao跟Donoho在研究compressive sensing时
忘记是谁发现L0 optimization可以relax成L1 optimization
稀疏是从L0来的
但L0-norm不是convex problem
L1是convex
所以可以用convex optimization的方法下去解
大概二十几年前convex optimization领域有突破 大家才知道怎麽解L1
才解得出 L0 的 sparse recovery
像 LASSO
我猜当年 Tibshirani 刚弄出来没爆红也是因为大家不知道怎麽有效率的算 L1
但其实 L0 才是大家想解的东西
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 68.71.180.136
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1522977183.A.35B.html
※ 编辑: abc2090614 (68.71.180.136), 04/06/2018 09:16:05
1F：推 EGsux: 推一下 没看过 04/06 09:20
2F：→ fallcolor: 好怀念喔 04/06 09:35
3F：推 a75468: 推推 04/06 14:57
4F：推 lucien0410: 能够翻译成不懂数学但想学的人听的懂的语言吗? 04/06 15:35
5F：→ lucien0410: 数学这门学问 我越接触越觉得迷人 04/06 15:36
7F：推 kevin1ptt: 推数学史！ 04/06 16:37