Soft_Job 板


LINE

大家討論了很多高深的數學,或是頂會。 實際上,我真的很懷疑有多少人真的在業界上搞 AI。 只論台灣吧。首先市場上純研發,需要數學或考績強制發論文的職缺,占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會,幾乎沒有吧。就連國際研討會,比例來說也沒看到多少人在發,常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構,真的感受差很大,可能是我看得不夠多? 好啦,如果你在國外大公司當我錯了。的確很多人搞數學,但是人數比例還是超級少。 再來談產品。首先論產品的效果,資料面就決定結果論了。實際工作時,有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦,但是可能需求方,多給你一個有用的資料特徵,都比搞數學重要。 特徵工程需要用到數學或頂會能力嗎? 前面說可利用數學方法,或各種模型做特徵工程或過濾雜訊,這要看任務。至少我比較熟的語音訊號,NLP,搜尋,推薦排序,跟本就沒有好方法。沒有一套數學方法論,特徵可以有什麼突飛猛進的提升,沒見過。喔有人說預訓練,就能突飛猛進了啊,問題是,你用預訓練需要什麼數學? 你要重新設計一套預訓練模型,即使自己設計,也很難別人好阿。搞數學設計演算法要用在哪? 實際上真的沒機會發揮居多吧。說數學有用的可以回文討論一下嗎。如果是說常用數學,都是寫在 pptx 上用來震撼長官用,我還稍微相信。 非深度學習,各種企業的結構化或數字型資料,也不需要設計什麼數學來做特徵工程吧。常見的不平衡標籤的狀況,用數學重新去設計 loss function, 效果提升真的有限,而且改來改去可能還不如用別人設計好的方法。改來改去不如前面搭一層規則引擎過濾修改 bad case結果。 資料與特徵搞得差不多了,來談談模型吧。 正常有經驗的人,怎麼會馬上跳到複雜的模型,或自己設計。拜託,恨不得模型越簡單越好嗎。能達到產品規格的模型就好,模型用越簡單越好,計算成本才能壓低,性能才會好。 這時有人會跳出來說了:我們會為了提升AI能力,用複雜的模型,然後蒸餾,這時需要數學了吧? 沒吧,機會有夠少的。現成open source的蒸餾模型,scaling,都是經過研發與實驗的,你自己設計跟本很難效果贏別人。當那些世界名校學數學的人,是塑膠做的嗎?自己隨便搞就能贏人? AI又不只 監督學習, RL,圖學習,各種複雜AI,總會用到數學了吧?問題是有多少人可以搞數學搞到比現成方法好? 要花多少成本呢? 再來跳針一下,面試推導總該需要數學了吧。喔對,大廠工作基本工。問題是,你面完你就忘得差不多了。下次找工作再複習。而且台灣真的多數公司不考。 不是說數學不重要,或 學AI不需要學數學,而是單純找個混口飯吃的工作,還真的不用特別去學數學。只是要有 AI工作,沒頂會,沒kaggle也一堆工作。這才是現況吧。 --
QR Code



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.148.218 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1636564801.A.21C.html
1F:→ shomingchang: 我覺得會數學跟甚麼頂會、比賽是兩碼子事吧 11/11 01:31
2F:→ shomingchang: 如果要去看別人論文實作,不懂數學會連符號都看不懂 11/11 01:32
3F:→ DrTech: 對,我也覺得兩碼子的事情。文中有錯可多指正。 11/11 01:33
4F:→ shomingchang: 跟設計演算法也是兩碼子事,只是單純讀得懂的而已 11/11 01:34
5F:→ DrTech: 看論文實作或復現的工作在台灣也很少。多數不需要。 11/11 01:35
6F:→ shomingchang: 嵌入式環境需要吧 可沒有python的一堆套件可以用 11/11 01:38
7F:推 clothg34569: 數學 頂會 KAGGLE這三樣沒甚麼關係吧 11/11 02:23
8F:推 labbat: 重造輪子的工作比你想得多了,需要數學的 11/11 02:51
9F:推 min86615: 有啦ECCV 會在Kaggle辦比賽,請第一名去會議上分享 11/11 08:10
10F:推 frouscy: 要在業界做applied ML軟工比數學重要太多了QQ 11/11 08:34
11F:推 stmilk: 其實依照你的前提“只是要糊口飯吃”,不要說ai了,所有 11/11 09:39
12F:→ stmilk: 行業都不需要數學了,沒什麼討論點吧。再來,你提到模型 11/11 09:39
13F:→ stmilk: 的部分不就說了數學的重要性,還是你其實是想告誡大家不 11/11 09:39
14F:→ stmilk: 要妄想跟世界名校數學人競爭而不是數學的重要性?最後, 11/11 09:39
15F:→ stmilk: 你提到的部份把前提假設的這麼美好當然就不用數學,來聊 11/11 09:39
16F:→ stmilk: 聊推薦系統好了,今天老闆給你一行為人的一堆網頁點擊資 11/11 09:39
17F:→ stmilk: 料,跟一堆他看過的文本圖片,而且都還稀疏各種缺漏,接 11/11 09:39
18F:→ stmilk: 著就什麼都沒有了,叫你弄推薦系統,你是打算現在流行方 11/11 09:39
19F:→ stmilk: 法套一套然後交差然後說抱歉我盡力了嗎?還是或嘗試用統 11/11 09:39
20F:→ stmilk: 計方法處理一下資料? 11/11 09:39
21F:推 stmilk: 或是股市資料,今天老闆就給你開高低收量,叫你寫策略, 11/11 09:44
22F:→ stmilk: 你一樣是會用現行流行方法套一套然後說沒辦法,還是嘗試 11/11 09:44
23F:→ stmilk: 去機率建模分析? 11/11 09:44
24F:推 mmonkeyboyy: 樓上 你確定現在推薦系統是這樣做的? XD 從數學做 11/11 10:00
25F:→ mmonkeyboyy: 老板會叫你回家吃自己.... 別人都上市了 你在那刻 11/11 10:00
26F:推 mmonkeyboyy: 更別提還有很多美麗的數學解不了的工程問題 11/11 10:03
27F:推 stmilk: 再提一下模型的部分,模型越小越好除了成本考量,最重要 11/11 10:07
28F:→ stmilk: 的是降低capacity導致的overtraining的問題,深入研發的 11/11 10:07
29F:→ stmilk: 部分有一大派就是在想辦法降低這個部分,但你只有兩條路 11/11 10:07
30F:→ stmilk: ,一是改變模型架構這也是,純學術在做的事,因為不用考 11/11 10:07
31F:→ stmilk: 慮有的沒的只要專注降低capacity跟訓練成本就好,像tran 11/11 10:07
32F:→ stmilk: sformer極大程度降低了capacity跟能夠平行運算,另一條路 11/11 10:07
33F:→ stmilk: 就是想辦法丟進模型的資訊少一點,因為根據Universal ap 11/11 10:07
34F:推 mmonkeyboyy: 真覺得這麼厲害也有用 可以去對岸試試 11/11 10:07
35F:→ stmilk: proximation theorem能在模型上幹的事有限,結果不管怎麼 11/11 10:07
36F:→ stmilk: 搞就是那樣,所以要嘛像你說的伸手牌去跟需求端要更好的 11/11 10:07
37F:→ stmilk: 特徵,要嘛就是自己搞,對就是用數學,就算是那些常見手 11/11 10:07
38F:→ stmilk: 法你不會就不能用 11/11 10:07
39F:→ mmonkeyboyy: 實務上就一堆數學搞不定的 就是叫工程的搞破壞搞定 11/11 10:09
40F:→ mmonkeyboyy: 你也就講 那數學哩 你看過一堆暴力pruning? 11/11 10:11
41F:→ mmonkeyboyy: 至今這幫人也還沒給出啥解釋 但人家超好用啊 11/11 10:11
42F:推 stmilk: 你總有上線後要優化吧,真的就要放上去就不管喔那我也沒 11/11 10:12
43F:→ stmilk: 話說啦 11/11 10:12
44F:→ mmonkeyboyy: 你只是上線後優化....很多時候跟數學沒關啊.... 11/11 10:12
45F:→ mmonkeyboyy: 優化界跟數學沒關的更多了 = =" 很多都是後來再套數 11/11 10:13
46F:→ mmonkeyboyy: 學上去的 後面來的人傻傻以為人家是這樣想出來的 11/11 10:13
47F:→ mmonkeyboyy: 現實情況是 如果有數學可以解真好 但多的是沒有 11/11 10:14
48F:推 stmilk: 我的優化不是優化速度有的沒的,是優化準確率啦 11/11 10:14
49F:→ stmilk: 你不能沒有就不做阿=_= 11/11 10:15
50F:→ mmonkeyboyy: 但還是得優化....囧> 11/11 10:15
51F:→ mmonkeyboyy: 優化準確率 然後你去做數學 結果花一堆時間做出來 11/11 10:15
52F:→ mmonkeyboyy: 更爛....你老板不立馬開了你 不然你以為大家大部份 11/11 10:16
53F:→ mmonkeyboyy: 都是從別的地方開始是為啥.... 11/11 10:16
54F:→ mmonkeyboyy: 就拿cnn類來說 自從出來後 真有意義的改良也就幾個 11/11 10:17
55F:推 stmilk: 你知道平台端的廣告投放商競價系統要做的事嗎? 11/11 10:17
56F:→ mmonkeyboyy: 一年大拜拜就出那個位數篇 也就幾年而已 11/11 10:18
57F:→ stmilk: 優化那個機率真的不是你暴力法去搞就好 11/11 10:18
58F:→ mmonkeyboyy: 我沒跟 平台端做過 到是不知道 11/11 10:19
59F:→ mmonkeyboyy: 我跟你的上面出推薦的人做過 最後他們用我們暴力方 11/11 10:19
60F:→ mmonkeyboyy: 案....用空間換 11/11 10:20
61F:→ mmonkeyboyy: 他們自己算過成本 對方也一堆數學家+AI理論專家 11/11 10:21
62F:→ mmonkeyboyy: 最後各種比完之後拿下來的是工程硬解上RAM 11/11 10:22
63F:→ mmonkeyboyy: 後面商家我沒做過 抱歉 也許那端是吧 11/11 10:22
64F:→ mmonkeyboyy: 數學那麼美麗 我每個都用f32不更美 剛好回家吃自己 11/11 10:24
65F:→ mmonkeyboyy: 還不如int8/16 混合先撐撐過了再說 11/11 10:24
66F:→ mmonkeyboyy: 當然我不是說數學不好 只是說要久一點 要多久就是 11/11 10:25
67F:→ mmonkeyboyy: 比投資人的耐心了....學術界就是要比有沒有人比你更 11/11 10:26
68F:→ mmonkeyboyy: 快想到.... 11/11 10:26
69F:→ mmonkeyboyy: 說到數學家 一堆都在研究blis/blas/smm-mul 11/11 10:33
70F:→ mmonkeyboyy: 純數還沒有遇到幾個 還真不知道他們在幹嘛 11/11 10:35
71F:→ mmonkeyboyy: 但我知道沒有很常在做網路就是了 11/11 10:35
72F:推 alpe: 四類寫後端又念資管碩寫AI論,非相關科系根本不懂那數學符號 11/11 11:50
73F:→ alpe: 我寫完論文我還是不懂, 問幾個中階的問題我就死了 11/11 11:52
74F:推 aria0520: 我在業界AI到現在的確是沒什麼碰到數學 11/11 15:56
75F:→ aria0520: 頂會workshop倒是有個一篇 11/11 15:56
76F:→ odahawk: 我在IC設計公司用過濾波器數學 11/11 16:14
77F:推 solitude6060: 回上面的:你確定現在推薦系統是這樣做+1(好啦我沒 11/11 17:05
78F:→ solitude6060: 有要參戰XD 11/11 17:05
79F:推 leptoneta: 應該說在台灣 不是職稱有AI就以為自己在搞AI 11/11 17:38
80F:→ leptoneta: 寫作人工智慧 讀作工人智慧 11/11 17:39
81F:→ aria0520: 不過現在台灣業界對AI的定義就是這樣沒錯 11/11 20:24
82F:→ aria0520: 台灣的純軟公司體量沒有大到像國外可以真的搞研究 11/11 20:25
83F:→ aria0520: 發paper 台灣業界就是要速成有效和部署 11/11 20:25
84F:推 mmonkeyboyy: 囧> 我也沒有要參戰啊 只是覺得事必有因 這樣XD 11/12 02:02
85F:→ mmonkeyboyy: 再看幾個回應 嗯 果然不出所料XD 11/12 02:03
86F:→ mmonkeyboyy: 其實全世界真做nn研究的真的很少 每年做出來的都可 11/12 02:04
87F:→ mmonkeyboyy: 以用手指數的@_@~ cv來說過去幾年也就某一派大殺四方 11/12 02:04
88F:→ mmonkeyboyy: 說實話我自認智商不足 還是去一邊畫圈好了XD 11/12 02:05
89F:→ mmonkeyboyy: 我覺得有效部署不是錯事 因為更多ai都是紙上談兵 11/12 02:06
90F:推 mmonkeyboyy: 而且要有資金才有新研究 還是要能有錢才轉得動啊 11/12 02:08
91F:→ mmonkeyboyy: 幾乎所有公司都是拿別的養ai部門 沒有別的搶上市先 11/12 02:11
92F:→ mmonkeyboyy: 賺一波也不是壞事啊 11/12 02:11
93F:推 world4jason: 現在推薦系統複雜多了 都是pipeline組合 基本上是工 11/12 12:35
94F:→ world4jason: 程問題 只是每個環節上有不同model針對該環節指標優 11/12 12:35
95F:→ world4jason: 化 但說實在看起來很work的論文 套用到在家data上根 11/12 12:35
96F:→ world4jason: 本不一定work 對資料的研究 前處理 這些工程事情才真 11/12 12:35
97F:→ world4jason: 的是關鍵 另外像是推薦系統這種雖然有指標但每個人體 11/12 12:35
98F:→ world4jason: 感大不相同的東西 為了幾%的指標提升從ML改DL 然後每 11/12 12:35
99F:→ world4jason: 個月燒的數字多一個0 這方案絕對不會被採用的 11/12 12:35
100F:→ DrTech: 推薦系統,或人的行為紀錄,現在根本沒有好的數學可以提升 11/12 12:44
101F:→ DrTech: 點擊效果,購買效果。也是考大力出奇蹟。實務上真的沒機會 11/12 12:44
102F:→ DrTech: 給你用數學去提升。 11/12 12:44
103F:推 aiueokaki: 這篇才接近現實 11/12 12:57
104F:推 aria0520: 基本上你公司誰算力大誰就贏一半了 11/12 23:32
105F:→ aria0520: 不用算數學 積木設計好丟下去NAS搞定 11/12 23:34
106F:推 world4jason: 同意原po說的 看起來是業內人XD 推薦系統跟數學完全 11/14 00:09
107F:→ world4jason: 無關 完全是domain knowledge跟工程 有時候抓到key f 11/14 00:09
108F:→ world4jason: eature就吊打千千萬萬模型了 11/14 00:09
109F:→ world4jason: 不行的話就是大力出奇蹟XD 11/14 00:09







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Soft_Job站內搜尋

TOP