作者k300plus (300plus)
看板Soft_Job
标题Re: [请益] 想从零开始转行当AI软体工程师
时间Fri Nov 12 20:49:56 2021
嘛，看到这标题，身为本命爱蜜莉雅的肥宅工程师也来鼓励(?)分享一下
本肥在112读大学时修过CSIE田神的ML
犹记得当初只会写C/C++的自己
在没人提示的情况下，蒙逼的手刻各种矩阵运算，一个作业写了上千行code
在EE的繁重课业下忍痛停休
然而还是有去把整学期的课听完，说实话ML/AI背後的数学理论真的收获很多
後来读硕班时正好就是李鸿毅开ML的第一年
我也才第一次接触到python这个暴力且强大的直译语言
除了有超多数学相关的lib能够无脑call爆外，最重要的还是处理data的能力
那时瞬间搞不懂自己大学修ML时到底在瞎忙什麽
如果有个拿着流星鎚的蓝发女仆
我会跪求他马上砸死我，让我re到大学时期的德田馆www
随着前两次的作业结束，觉得写python也太简单爽快，突然发现自己好想往ML/AI发展
然而学期後半段进入了类神经网路後，一切开始风云变色
第三次作业的data再怎麽前处理，模型layer再怎麽叠，kaggle上的分数始终惨输
太无情了，我的信心似乎崩溃了
最後作业结束时，记得老师请前几名的同学上台分享他们怎麽做的
结果...我震撼了
上台分享的同学大致上也都是乱叠乱串一通，然後分数就突然超高而已
从此，我的AI梦好像也就嘎然而止了
时光荏苒，转眼间我已是在猪屎屋挑屎挑了三年的肥肥工程师
即使工作内容完全与AI无关
但李鸿毅的那门ML却是深深的影响着我
自家产品的log项目乱七八糟怎麽办? python读出来分类啊
一堆没用的肮脏数据怎麽办? 用python踢掉啊
别人给的excel/csv格式排版不是我想要的怎麽办? python重新输出啊
反正数据处理方面，python根本神到翻天
再搭配shell语法，各种杂事过来就是一切先自动化处理再说
其实我也不知道别人是怎麽做
但有这些tool对我分析数据上来说就是如虎添翼
但要是我没修过ML，学到python的处理资料能力
搞不好我现在就还是在用C或人工在处理资料
也许AI风潮不再那麽狂热，如果AI有颜色那一定是过气的蓝色
但还是很鼓励可以去接触看看，也许也能像本肥一样收获良多 > <
甚至我认为各个领域都非常有机会运用到处理资料的能力
而透过ML/AI去学习如何处理资料是非常好的一个方式 (灿笑
--
我老婆1
https://imgur.com/VBSwkje 我老婆2
https://imgur.com/wdMQImg
我老婆3
https://imgur.com/wkngu3l 我老婆4
https://imgur.com/cOmVBaO
我老婆5
https://imgur.com/s6TJwHK 我老婆6
https://imgur.com/cJs96qc
我老婆7
https://imgur.com/Mob8u3q 我老婆8
https://imgur.com/qwxYDo5
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.32.243.197 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1636721401.A.262.html
1F：推 stmilk: 屌耶，就像贾伯斯旁听字体美学一样，命运就是这麽神奇 11/12 21:03
2F：→ Morphee: 你讲的那些处理 perl跟tcl/tk 不是都玩到烂了? 11/12 22:02
我EDA外商的同学说他都在写perl跟tcl
3F：推 j0958322080: 结果你讲的是 python 有多强不是 AI 阿 11/12 22:26
4F：→ j0958322080: 不过说实在的很多 library 底层还是 C 实作才快 11/12 22:27
5F：→ j0958322080: 有些甚至还是 Fortran 11/12 22:27
python的实作跟compiler不是我的重点
我的资料量不会真的大到需要再去了解底层加速
甚至与其去做这种底层研究
我觉得更实际的是要去了解例如多份资料之间要search/match/merge时
怎麽写到 O(n) 且一份资料尽量只traverse一次
这才是真正大幅减少时间的方式
6F：推 mmonkeyboyy: fortran是没办法 11/12 22:32
7F：推 drajan: 快很好 但正确 易用 才有市场 11/12 22:36
8F：→ drajan: Speed is irrelevant if you are going in the wrong dire 11/12 22:37
9F：→ drajan: ction. 11/12 22:37
不能同意你更多XD
10F：→ leo08210917: 这篇是在说 在猪屎用python打杂混的比做ai好吗XD 11/12 22:48
这也是前几篇一直提到
你本身的domain knowledge才是最重要的XD
11F：推 viper9709: 推拿流星槌的蓝发女仆(误) 11/12 23:42
他的名字是什麽我一直想不起来 (大误
12F：推 yamakazi: 底层Fortran? 11/13 00:07
13F：→ yamakazi: Python 底层是C没错，但底层Fortran我见识少还真没听过 11/13 00:08
窝也不知道
14F：推 j0958322080: 之前看线性代数有用到 lapack 里面有 Fortran 的语法 11/13 00:29
15F：推 LincolnBoy: Fortran好怀念 好久没写了 11/13 00:30
16F：推 mmonkeyboyy: 那一堆线代解的里面很多都有fortran 11/13 01:02
17F：→ mmonkeyboyy: 不信你下次compile时不要叫 gfortran看看 11/13 01:03
18F：→ mmonkeyboyy: 立马死一堆XD 11/13 01:03
19F：→ wahaha279: 去搞懂直译的意思 而不是在那边我见识少 11/13 01:18
20F：推 shownlin: Kaggle有时候真的就是比模型本身的强度 11/13 01:59
21F：→ shownlin: 有的模型就是特别适合拿来打比赛 11/13 01:59
22F：→ shownlin: 用对模型基本上分数就会飙上去 11/13 01:59
23F：→ shownlin: 剩下的就一些细节在那边看能不能多拼个几分 11/13 01:59
24F：→ shownlin: 之前修轩田的final project有感 11/13 02:00
25F：→ shownlin: 看leader board前面有些组很好心 11/13 02:00
26F：→ shownlin: submit还会附上自己用什麽模型XD 11/13 02:00
对 我修完课的确能知道说哪类的问题适合用哪类的模型去解
但我觉得tune参数或神经网路在叠layer的过程真的太难有一个方向或依据
当初我觉得就是在乱搞乱try一通，当然可能也是我功力不够而已啦XD
然後kaggle上我反而喜欢看别组的组名wwww
我当初也取的超滑超中二XDD
27F：推 yamakazi: 我知道有些科学计算用Fortran 啊，我的意思是，有多少主 11/13 09:47
28F：→ yamakazi: 流套件，或程式，或OS底层是用Fortran?印象中几乎没有 11/13 09:47
29F：推 yamakazi: 或者本系列主题是AI，有多少搞AI工具底层是Fortran写的 11/13 09:49
30F：→ yamakazi: ？ 11/13 09:49
31F：嘘 hprince: 结果签名档没放爱蜜莉雅 11/13 10:09
竟然有人发现了wwwww 快笑死XDDDDDD
32F：推 yamakazi: 而且现在科学计算主流不是几乎都python和matlab了？ 11/13 10:10
Matlab EE出身的可能还会用 CS底的因该斥之以鼻
33F：推 mmonkeyboyy: Blas里还有fortran 77 没死透 而且有几个还比c快 就 11/13 11:10
34F：→ mmonkeyboyy: 被留下来了 11/13 11:10
35F：推 mmonkeyboyy: 你如果说的科学计算是量子电脑 那python 是 超级电脑 11/13 11:15
36F：→ mmonkeyboyy: 类 python 用很少很少 matlab 就 算了吧 11/13 11:15
37F：推 mmonkeyboyy: 解数值的 FORTRAN 活的很好呢 只是包住你看不到 11/13 11:18
38F：→ mmonkeyboyy: 拿cpu 解DL的 fortran 也用到很多 GPGPU 我猜也有 11/13 11:20
39F：推 yamakazi: 没死透不就代表死的差不多了？ 11/13 11:50
40F：→ yamakazi: 死的剩一口气而已 11/13 11:50
41F：推 j0958322080: 看你怎麽定义啊，如果那几个函式被呼叫的次数是高过 11/13 11:55
42F：→ j0958322080: 其他用 python 写的好几个数量级算吗？ 11/13 11:56
43F：推 yamakazi: 我就只是好奇到底多少底层用Fortran写的现在还在用就是 11/13 12:13
44F：→ yamakazi: 了 11/13 12:13
45F：推 j0958322080: 你去看看哪些呼叫 blas 阿 11/13 12:15
46F：→ yamakazi: 看起来就是特定领域的少数套件才会用到底层是fortran 写 11/13 12:27
47F：→ yamakazi: 的库 11/13 12:27
48F：推 yamakazi: 而且我刚看了一下，也不是所有blas都是用Fortran，openB 11/13 12:42
49F：→ yamakazi: las就说是用C写的 11/13 12:42
50F：推 mmonkeyboyy: 我也没有说全部啊 = ="不跟你说compile下去就知道了 11/13 12:43
51F：→ yamakazi: OpenBlas说C compiler必备, Fortran compiler是选配 11/13 12:43
52F：→ mmonkeyboyy: = ="谁跟你少数领域 囧> 又不是人人都openblas 11/13 12:45
53F：→ mmonkeyboyy: 更别提nv 自己都出fortran 11/13 12:45
54F：→ mmonkeyboyy: = =" 你要看接谁啊 你跑一个solver 要看它叫谁 11/13 12:46
55F：→ mmonkeyboyy: 它没叫你可以自己接啦....接很久就是了xd 11/13 12:47
56F：→ mmonkeyboyy: 你真觉得没用就没用啊= =" 看一下各大名校都还在教 11/13 12:48
57F：→ mmonkeyboyy: 还一堆是重课 = =" 你做数值拿来模拟各种东西 11/13 12:48
58F：→ mmonkeyboyy: solver 下去就是很有可能会有 @_@~ 11/13 12:48
59F：推 j0958322080: 可能他没接触过的领域就是少数领域吧 11/13 12:49
60F：→ mmonkeyboyy: 我讲没死透只是因为我自己也是在帮忙更新到c的 11/13 12:49
61F：→ mmonkeyboyy: 但 超多好吗= =" 你一堆工程化学药学医学都有 11/13 12:50
62F：→ mmonkeyboyy: 会说科学计算可以用matlab 我只能笑了.... 11/13 12:51
63F：→ mmonkeyboyy: python都到很最近才排得进去好吗.... 11/13 12:51
64F：→ mmonkeyboyy: 世界排名前百大超级电脑 (量子不算的话) 有没有十台 11/13 12:52
65F：→ mmonkeyboyy: 可以让你跑python都是问题 (当然商用出租的不算 这 11/13 12:52
66F：→ mmonkeyboyy: 付钱的是老大) matlab....不知道有没有一台 11/13 12:53
67F：→ mmonkeyboyy: 就我记忆中 mathworks曾想去推 一个大老叫它先跑赢 11/13 12:54
68F：→ mmonkeyboyy: java 再来.... 然後我知道大家都会放一台让小朋友在 11/13 12:54
69F：推 yamakazi: 所有以我说我见识少，没跟你们讨论我还真不知道有这个 11/13 12:54
70F：→ mmonkeyboyy: 一边先玩沙 玩完再叫你改成c++先 11/13 12:55
71F：→ mmonkeyboyy: 某意议上来说openblas很先进的 先进到没有fortran 11/13 12:56
72F：→ mmonkeyboyy: 这是当初很多人对这东西的评价 (算一半好坏) 11/13 12:56
73F：→ mmonkeyboyy: 这东西是对岸出的 专门为了某东西做的 11/13 12:57
74F：推 mmonkeyboyy: 你把fortran 先拿掉 然後重compile 全部东西 11/13 13:04
75F：→ mmonkeyboyy: 我认真觉得在linux 环境下 你会有一半以上hpc残废 11/13 13:04
76F：→ mmonkeyboyy: 那东西包得太深了....深到我还见过比f77还旧的 11/13 13:05
77F：推 yamakazi: 为什麽要更新到C？是指重新用C写吗？ 11/13 13:11
78F：推 mmonkeyboyy: 很多东西你可以用c/c++的对应东西换掉 11/13 13:13
79F：→ mmonkeyboyy: 在某程度上 会有优化上的好处 最少记忆体好做 11/13 13:13
80F：→ mmonkeyboyy: 我看了一下我手正在搞的一个大包 里面还是满满f啊 11/13 13:14
81F：→ mmonkeyboyy: 老的东西很难丢掉的@_@~ nasa想丢了fortran 才总算在 11/13 13:16
82F：→ mmonkeyboyy: 2017年动手 (不过到底丢完了没我也不知道) 11/13 13:17
83F：→ mmonkeyboyy: 那有什麽时间在重写 当没事重造轮哦@_@~ 11/13 13:17
84F：→ mmonkeyboyy: 当然是把别人写好的移过去 做一堆事让它工作 11/13 13:18
长知识了哥
85F：推 kevin820308: 这篇讲话www 好有画面（抓头灿笑 11/13 13:24
现实世界不要这麽多宅梗 哭啊
86F：推 bill1992: 整篇重点 太无情了 无情data 11/13 13:48
无情ML 无情AI
87F：推 bochengchen: data好难 11/13 14:07
88F：嘘 richardz: 雷姆派只能嘘了 11/13 16:12
雷姆...是谁?
89F：推 zebraseven: 推 11/13 23:26
90F：推 cominlin: 可恶 谁说蓝发的过气了 她不就叫做......欸......叫什麽 11/14 12:13
谁？
91F：推 ricson: 欸不是 你本命怎麽没出现在签名档 11/14 12:50
窝不知道
92F：→ mmonkeyboyy: 想当年我们都是初音 凉宫的 囧> 11/15 00:16
93F：→ mmonkeyboyy: (过气的宅宅 泣T_T)_ 11/15 00:16
初音不就软体而已 (?
94F：推 pjwck: 听起来你只是需要早点认识python而已跟AI真的无关 11/16 01:12
就是我透过ML/AI的资料前处理过程来学习python得到莫大的收获
95F：→ eva19452002: Python 底层是C，那为何不直接用C就好？ 11/17 02:18
python包好的API让你开发更迅速
96F：推 damody: 噗杀天使吗 11/17 03:33
朵库萝我看过wwww
97F：→ longlongint: 省人类的时间比省机器的时间重要 11/17 12:50
没错!!!!
※ 编辑: k300plus (114.32.243.197 台湾), 11/17/2021 22:48:17
98F：推 mmonkeyboyy: 是要决斗泥~ 11/18 13:19
99F：推 Yujjlin: 拿到一堆肮脏数据，真的很想哭，该复习python… 11/20 22:47