作者k300plus (300plus)
看板Soft_Job
標題Re: [請益] 想從零開始轉行當AI軟體工程師
時間Fri Nov 12 20:49:56 2021
嘛，看到這標題，身為本命愛蜜莉雅的肥宅工程師也來鼓勵(?)分享一下
本肥在112讀大學時修過CSIE田神的ML
猶記得當初只會寫C/C++的自己
在沒人提示的情況下，矇逼的手刻各種矩陣運算，一個作業寫了上千行code
在EE的繁重課業下忍痛停休
然而還是有去把整學期的課聽完，說實話ML/AI背後的數學理論真的收穫很多
後來讀碩班時正好就是李鴻毅開ML的第一年
我也才第一次接觸到python這個暴力且強大的直譯語言
除了有超多數學相關的lib能夠無腦call爆外，最重要的還是處理data的能力
那時瞬間搞不懂自己大學修ML時到底在瞎忙什麼
如果有個拿著流星鎚的藍髮女僕
我會跪求他馬上砸死我，讓我re到大學時期的德田館www
隨著前兩次的作業結束，覺得寫python也太簡單爽快，突然發現自己好想往ML/AI發展
然而學期後半段進入了類神經網路後，一切開始風雲變色
第三次作業的data再怎麼前處理，模型layer再怎麼疊，kaggle上的分數始終慘輸
太無情了，我的信心似乎崩潰了
最後作業結束時，記得老師請前幾名的同學上台分享他們怎麼做的
結果...我震撼了
上台分享的同學大致上也都是亂疊亂串一通，然後分數就突然超高而已
從此，我的AI夢好像也就嘎然而止了
時光荏苒，轉眼間我已是在豬屎屋挑屎挑了三年的肥肥工程師
即使工作內容完全與AI無關
但李鴻毅的那門ML卻是深深的影響著我
自家產品的log項目亂七八糟怎麼辦? python讀出來分類啊
一堆沒用的骯髒數據怎麼辦? 用python踢掉啊
別人給的excel/csv格式排版不是我想要的怎麼辦? python重新輸出啊
反正數據處理方面，python根本神到翻天
再搭配shell語法，各種雜事過來就是一切先自動化處理再說
其實我也不知道別人是怎麼做
但有這些tool對我分析數據上來說就是如虎添翼
但要是我沒修過ML，學到python的處理資料能力
搞不好我現在就還是在用C或人工在處理資料
也許AI風潮不再那麼狂熱，如果AI有顏色那一定是過氣的藍色
但還是很鼓勵可以去接觸看看，也許也能像本肥一樣收穫良多 > <
甚至我認為各個領域都非常有機會運用到處理資料的能力
而透過ML/AI去學習如何處理資料是非常好的一個方式 (燦笑
--
我老婆1
https://imgur.com/VBSwkje 我老婆2
https://imgur.com/wdMQImg
我老婆3
https://imgur.com/wkngu3l 我老婆4
https://imgur.com/cOmVBaO
我老婆5
https://imgur.com/s6TJwHK 我老婆6
https://imgur.com/cJs96qc
我老婆7
https://imgur.com/Mob8u3q 我老婆8
https://imgur.com/qwxYDo5
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.243.197 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1636721401.A.262.html
1F：推 stmilk: 屌耶，就像賈伯斯旁聽字體美學一樣，命運就是這麼神奇 11/12 21:03
2F：→ Morphee: 你講的那些處理 perl跟tcl/tk 不是都玩到爛了? 11/12 22:02
我EDA外商的同學說他都在寫perl跟tcl
3F：推 j0958322080: 結果你講的是 python 有多強不是 AI 阿 11/12 22:26
4F：→ j0958322080: 不過說實在的很多 library 底層還是 C 實作才快 11/12 22:27
5F：→ j0958322080: 有些甚至還是 Fortran 11/12 22:27
python的實作跟compiler不是我的重點
我的資料量不會真的大到需要再去了解底層加速
甚至與其去做這種底層研究
我覺得更實際的是要去了解例如多份資料之間要search/match/merge時
怎麼寫到 O(n) 且一份資料盡量只traverse一次
這才是真正大幅減少時間的方式
6F：推 mmonkeyboyy: fortran是沒辦法 11/12 22:32
7F：推 drajan: 快很好 但正確 易用 才有市場 11/12 22:36
8F：→ drajan: Speed is irrelevant if you are going in the wrong dire 11/12 22:37
9F：→ drajan: ction. 11/12 22:37
不能同意你更多XD
10F：→ leo08210917: 這篇是在說 在豬屎用python打雜混的比做ai好嗎XD 11/12 22:48
這也是前幾篇一直提到
你本身的domain knowledge才是最重要的XD
11F：推 viper9709: 推拿流星槌的藍髮女僕(誤) 11/12 23:42
他的名字是什麼我一直想不起來 (大誤
12F：推 yamakazi: 底層Fortran? 11/13 00:07
13F：→ yamakazi: Python 底層是C沒錯，但底層Fortran我見識少還真沒聽過 11/13 00:08
窩也不知道
14F：推 j0958322080: 之前看線性代數有用到 lapack 裡面有 Fortran 的語法 11/13 00:29
15F：推 LincolnBoy: Fortran好懷念 好久沒寫了 11/13 00:30
16F：推 mmonkeyboyy: 那一堆線代解的裡面很多都有fortran 11/13 01:02
17F：→ mmonkeyboyy: 不信你下次compile時不要叫 gfortran看看 11/13 01:03
18F：→ mmonkeyboyy: 立馬死一堆XD 11/13 01:03
19F：→ wahaha279: 去搞懂直譯的意思 而不是在那邊我見識少 11/13 01:18
20F：推 shownlin: Kaggle有時候真的就是比模型本身的強度 11/13 01:59
21F：→ shownlin: 有的模型就是特別適合拿來打比賽 11/13 01:59
22F：→ shownlin: 用對模型基本上分數就會飆上去 11/13 01:59
23F：→ shownlin: 剩下的就一些細節在那邊看能不能多拼個幾分 11/13 01:59
24F：→ shownlin: 之前修軒田的final project有感 11/13 02:00
25F：→ shownlin: 看leader board前面有些組很好心 11/13 02:00
26F：→ shownlin: submit還會附上自己用什麼模型XD 11/13 02:00
對 我修完課的確能知道說哪類的問題適合用哪類的模型去解
但我覺得tune參數或神經網路在疊layer的過程真的太難有一個方向或依據
當初我覺得就是在亂搞亂try一通，當然可能也是我功力不夠而已啦XD
然後kaggle上我反而喜歡看別組的組名wwww
我當初也取的超滑超中二XDD
27F：推 yamakazi: 我知道有些科學計算用Fortran 啊，我的意思是，有多少主 11/13 09:47
28F：→ yamakazi: 流套件，或程式，或OS底層是用Fortran?印象中幾乎沒有 11/13 09:47
29F：推 yamakazi: 或者本系列主題是AI，有多少搞AI工具底層是Fortran寫的 11/13 09:49
30F：→ yamakazi: ？ 11/13 09:49
31F：噓 hprince: 結果簽名檔沒放愛蜜莉雅 11/13 10:09
竟然有人發現了wwwww 快笑死XDDDDDD
32F：推 yamakazi: 而且現在科學計算主流不是幾乎都python和matlab了？ 11/13 10:10
Matlab EE出身的可能還會用 CS底的因該斥之以鼻
33F：推 mmonkeyboyy: Blas裡還有fortran 77 沒死透 而且有幾個還比c快 就 11/13 11:10
34F：→ mmonkeyboyy: 被留下來了 11/13 11:10
35F：推 mmonkeyboyy: 你如果說的科學計算是量子電腦 那python 是 超級電腦 11/13 11:15
36F：→ mmonkeyboyy: 類 python 用很少很少 matlab 就 算了吧 11/13 11:15
37F：推 mmonkeyboyy: 解數值的 FORTRAN 活的很好呢 只是包住你看不到 11/13 11:18
38F：→ mmonkeyboyy: 拿cpu 解DL的 fortran 也用到很多 GPGPU 我猜也有 11/13 11:20
39F：推 yamakazi: 沒死透不就代表死的差不多了？ 11/13 11:50
40F：→ yamakazi: 死的剩一口氣而已 11/13 11:50
41F：推 j0958322080: 看你怎麼定義啊，如果那幾個函式被呼叫的次數是高過 11/13 11:55
42F：→ j0958322080: 其他用 python 寫的好幾個數量級算嗎？ 11/13 11:56
43F：推 yamakazi: 我就只是好奇到底多少底層用Fortran寫的現在還在用就是 11/13 12:13
44F：→ yamakazi: 了 11/13 12:13
45F：推 j0958322080: 你去看看哪些呼叫 blas 阿 11/13 12:15
46F：→ yamakazi: 看起來就是特定領域的少數套件才會用到底層是fortran 寫 11/13 12:27
47F：→ yamakazi: 的庫 11/13 12:27
48F：推 yamakazi: 而且我剛看了一下，也不是所有blas都是用Fortran，openB 11/13 12:42
49F：→ yamakazi: las就說是用C寫的 11/13 12:42
50F：推 mmonkeyboyy: 我也沒有說全部啊 = ="不跟你說compile下去就知道了 11/13 12:43
51F：→ yamakazi: OpenBlas說C compiler必備, Fortran compiler是選配 11/13 12:43
52F：→ mmonkeyboyy: = ="誰跟你少數領域 囧> 又不是人人都openblas 11/13 12:45
53F：→ mmonkeyboyy: 更別提nv 自己都出fortran 11/13 12:45
54F：→ mmonkeyboyy: = =" 你要看接誰啊 你跑一個solver 要看它叫誰 11/13 12:46
55F：→ mmonkeyboyy: 它沒叫你可以自己接啦....接很久就是了xd 11/13 12:47
56F：→ mmonkeyboyy: 你真覺得沒用就沒用啊= =" 看一下各大名校都還在教 11/13 12:48
57F：→ mmonkeyboyy: 還一堆是重課 = =" 你做數值拿來模擬各種東西 11/13 12:48
58F：→ mmonkeyboyy: solver 下去就是很有可能會有 @_@~ 11/13 12:48
59F：推 j0958322080: 可能他沒接觸過的領域就是少數領域吧 11/13 12:49
60F：→ mmonkeyboyy: 我講沒死透只是因為我自己也是在幫忙更新到c的 11/13 12:49
61F：→ mmonkeyboyy: 但 超多好嗎= =" 你一堆工程化學藥學醫學都有 11/13 12:50
62F：→ mmonkeyboyy: 會說科學計算可以用matlab 我只能笑了.... 11/13 12:51
63F：→ mmonkeyboyy: python都到很最近才排得進去好嗎.... 11/13 12:51
64F：→ mmonkeyboyy: 世界排名前百大超級電腦 (量子不算的話) 有沒有十台 11/13 12:52
65F：→ mmonkeyboyy: 可以讓你跑python都是問題 (當然商用出租的不算 這 11/13 12:52
66F：→ mmonkeyboyy: 付錢的是老大) matlab....不知道有沒有一台 11/13 12:53
67F：→ mmonkeyboyy: 就我記憶中 mathworks曾想去推 一個大老叫它先跑贏 11/13 12:54
68F：→ mmonkeyboyy: java 再來.... 然後我知道大家都會放一台讓小朋友在 11/13 12:54
69F：推 yamakazi: 所有以我說我見識少，沒跟你們討論我還真不知道有這個 11/13 12:54
70F：→ mmonkeyboyy: 一邊先玩沙 玩完再叫你改成c++先 11/13 12:55
71F：→ mmonkeyboyy: 某意議上來說openblas很先進的 先進到沒有fortran 11/13 12:56
72F：→ mmonkeyboyy: 這是當初很多人對這東西的評價 (算一半好壞) 11/13 12:56
73F：→ mmonkeyboyy: 這東西是對岸出的 專門為了某東西做的 11/13 12:57
74F：推 mmonkeyboyy: 你把fortran 先拿掉 然後重compile 全部東西 11/13 13:04
75F：→ mmonkeyboyy: 我認真覺得在linux 環境下 你會有一半以上hpc殘廢 11/13 13:04
76F：→ mmonkeyboyy: 那東西包得太深了....深到我還見過比f77還舊的 11/13 13:05
77F：推 yamakazi: 為什麼要更新到C？是指重新用C寫嗎？ 11/13 13:11
78F：推 mmonkeyboyy: 很多東西你可以用c/c++的對應東西換掉 11/13 13:13
79F：→ mmonkeyboyy: 在某程度上 會有優化上的好處 最少記憶體好做 11/13 13:13
80F：→ mmonkeyboyy: 我看了一下我手正在搞的一個大包 裡面還是滿滿f啊 11/13 13:14
81F：→ mmonkeyboyy: 老的東西很難丟掉的@_@~ nasa想丟了fortran 才總算在 11/13 13:16
82F：→ mmonkeyboyy: 2017年動手 (不過到底丟完了沒我也不知道) 11/13 13:17
83F：→ mmonkeyboyy: 那有什麼時間在重寫 當沒事重造輪哦@_@~ 11/13 13:17
84F：→ mmonkeyboyy: 當然是把別人寫好的移過去 做一堆事讓它工作 11/13 13:18
長知識了哥
85F：推 kevin820308: 這篇講話www 好有畫面（抓頭燦笑 11/13 13:24
現實世界不要這麼多宅梗 哭啊
86F：推 bill1992: 整篇重點 太無情了 無情data 11/13 13:48
無情ML 無情AI
87F：推 bochengchen: data好難 11/13 14:07
88F：噓 richardz: 雷姆派只能噓了 11/13 16:12
雷姆...是誰?
89F：推 zebraseven: 推 11/13 23:26
90F：推 cominlin: 可惡 誰說藍髮的過氣了 她不就叫做......欸......叫什麼 11/14 12:13
誰？
91F：推 ricson: 欸不是 你本命怎麼沒出現在簽名檔 11/14 12:50
窩不知道
92F：→ mmonkeyboyy: 想當年我們都是初音 涼宮的 囧> 11/15 00:16
93F：→ mmonkeyboyy: (過氣的宅宅 泣T_T)_ 11/15 00:16
初音不就軟體而已 (?
94F：推 pjwck: 聽起來你只是需要早點認識python而已跟AI真的無關 11/16 01:12
就是我透過ML/AI的資料前處理過程來學習python得到莫大的收穫
95F：→ eva19452002: Python 底層是C，那為何不直接用C就好？ 11/17 02:18
python包好的API讓你開發更迅速
96F：推 damody: 噗殺天使嗎 11/17 03:33
朵庫蘿我看過wwww
97F：→ longlongint: 省人類的時間比省機器的時間重要 11/17 12:50
沒錯!!!!
※ 編輯: k300plus (114.32.243.197 臺灣), 11/17/2021 22:48:17
98F：推 mmonkeyboyy: 是要決鬥泥~ 11/18 13:19
99F：推 Yujjlin: 拿到一堆骯髒數據，真的很想哭，該複習python… 11/20 22:47