作者stmilk (我男的)
看板Soft_Job
标题Re: [请益] 想从零开始转行当AI软体工程师
时间Wed Nov 10 14:08:19 2021
来用自己的例子劝退一些想跳机器学习的人
首先是数学程度，
我是数学系的，什麽线代，微积分，机率，统计的都很熟其实工作也会用到，
描述一些比较有印象的工作用过的数学，
比较有趣关於微积分的经验:
老板把问题用一个式子 exp(-rx)*((1/delta)*sqrt(A))*exp(-x^2/(A))来解释，
并要对x积整个实数范围。
在场大家都面面相觑我就被要求积了。
但这其实不难积，就高斯积分，有背整理一下秒解，
没背也不难推。我大学微积分没在背的所以是当场直接推，然後才继续那场会议。
机率统计就那些常见的像是:
在一堆数据中给一些想法假设然後检定，
或是想办法对一直变动pattern的资料去建对应的机率模型。
但我具体数学程度到哪，举两个例子一个是深度学习WGAN一个是经典的random forest。
https://arxiv.org/pdf/1701.07875.pdf 这是WGAN。
https://link.springer.com/article/10.1023/A:1010933404324 这是RF。
基本上里面的纯数推导我几乎都理解，
WGAN用到实分析跟线性规划，
RF则是机率。
以上大概描述一下我的数学程度。
接着是我的电脑技能，
我熟悉的语言有C++跟PYTHON，基本上各有两年以上的工作实务经验。
python就绝大部份公司机器学习用的语言不解释。
C++曾被公司要求所有演算法都要自己刻，这之中还包刮神经网路，
连 backpropagation 都要自己刻，
然後资料结构演算法，计算机组织，作业系统都读过。
至於程度到哪我也不好说，我自知去参加程式比赛会被电死，但基本程度应该是有。
资料结构的程度至少是在刷题的时候不会卡在"天啊这个是什麽资料结构"，
跟曾经在工作被要求刻了一个红黑树，虽然我现在忘了而且skip list太好用。
演算法就刷题的时候不会无止境一直设条件，
会尝试用一些演算法想法比如 divide and conquer or dp 来解题。
计组作业系统就是那些什麽cpu pipeline 记忆体管理缓存设计都懂。
资料库则是公司用什麽我就学什麽。
机器学习的部分就是几乎现在大家喊得出名字的我都可以实作，
有要证明的模型我都可以证明，不过需要回忆准备一下哈哈因为模型太多没全记。
大致用书来表示一下我懂得大概范围好了。
https://www.deeplearningbook.org/
deep learning 的经典不解释。
http://www.cs.cmu.edu/~tom/mlbook.html
machine learning 也算经典但很老的一本了。
https://www.tenlong.com.tw/products/9787302275954
各种经典的机器学习模型的推导书，虽然这个作者几乎只是翻译论文，但翻的还满好的。
新技术太多我就不提了我都有在追。
以上大致描述一下我的程度，目前的结果是我近半年完全找不到工作XD
不管国内国外，丢履历都没回覆，基本上连面试机会都没有。
搞得现在只能送foodpanda，
真的是能力不足阿...
希望这惨痛的经历能拯救还想再跳AI的人阿。
==================================================
发现太多人执着实作的部分，其实要求手刻的只有一家公司，虽然我也在那边做很久
除了那间公司其他的我也是用包啦，Tensorflow，cntk 之类的都会用。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.137.88.3 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1636524507.A.D68.html
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 14:12:47
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 14:23:19
1F：→ jobintan: 大佬可以考虑下转SDE了………………………………………11/10 14:18
2F：推 billchen123: 祝原PO找到工作11/10 14:21
3F：推 longlyeagle: 是不是CV写太烂了?11/10 14:23
问过猎头猎头说还行，所以我也不知道哈哈哈
4F：推 qwe70302: 比起外送，不如先找个web後端蹲一下，虽然月薪七八万可11/10 14:29
5F：→ qwe70302: 能比不上资料处理十几万～11/10 14:29
对阿所以我现在在补 distribution system 的东西了哈哈哈看能不能去捞个资料库相关的?
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 14:31:53
6F：推 j0958322080: 那个积分做配方後还是高司积分，不过面面相觑也太惨11/10 14:38
对阿，更有趣的是其中一个人的同职务薪水还是我的三倍....
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 14:42:43
7F：推 devilkool: 咦...原本的公司是倒了吗？11/10 14:51
想去国外，还有存款就辞了念英文跟丢履历，然後国外都没回覆，
改丢国内的国内也都没回覆，惨
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 14:54:17
8F：推 GameGyu: 比较好奇 你台湾投那些公司？11/10 15:00
9F：→ stmilk: 没有只投百万的啦，虽然我最後一份工作是有破百11/10 15:01
10F：→ stmilk: 基本上看到觉得符合就丢了11/10 15:02
11F：推 empliu: 冒昧问一下原po学历?11/10 15:05
12F：→ empliu: 据我所了解的台湾有招比较多AI的 内部几乎都是台清交11/10 15:06
13F：→ stmilk: 只有数学学士还不是四大哈哈，所以上述的东西全部都是自修11/10 15:06
14F：→ DrTech: 不怀疑能力，但方法很没效率吧，手刻技术演算法或数学很厉11/10 15:06
15F：→ DrTech: 害，实务上根本没必要。11/10 15:06
16F：→ empliu: 或者有相关会议 publication11/10 15:07
对阿，我最後一间就是被推荐去面试的，一面试就上了。但我之前自己丢根本也没鸟我XD
17F：→ DrTech: 而且实务上，你数学再强也输给烂资料。11/10 15:07
你说的没错XD但是主要还是看你怎麽处理，再烂都有办法处理，
烂的资料神经网路无法处理因为神经网路是强逼近，就垃圾进垃圾出
但数学反倒可以找到很好的方向，
比如说我处理过那种杂讯很多就算了，哪些是杂讯还都不知道的数据。
方法就把资料换个方便我弄成随机过程的样子，
然後抽特徵的时候随机，根据大数法则我可以期待他会逼近一个我要的值，
且也可以淡化杂讯的影响毕竟是随机取，最终效果很好这样
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 15:16:24
18F：推 isaacting: 要自己刻bp?! 是在gpu上实作吗11/10 15:09
19F：→ isaacting: 如果是要在cpu上刻BP, 为何不用现成library ?!11/10 15:11
我怎麽知道XD 是公司要求阿
20F：→ DrTech: "要证明的模型我都可以证明，不过需要回忆准备一下"，这句11/10 15:12
21F：→ DrTech: 话看起来很强，实际上面试大厂也是不合格的。11/10 15:12
22F：→ DrTech: 李航那本书很多人在背喔，某些职缺的基本功而已。11/10 15:14
其实我不想跟你争辩这个啦....
我只是想表示这麽基本的东西我都有公司也是不要阿
真的要说的话不然你试着准备一下那个WGAN的中为什麽Wasserstein比原本的GAN的cost function 还要好的证明然後试试?
23F：→ stmilk: 痾.....我没说这些东西很难啊= =11/10 15:17
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 15:22:36
24F：→ DrTech: 原文这种做法，真的不如好好学 TF或 keras范例，还比较好11/10 15:18
25F：→ DrTech: 找工作。11/10 15:18
26F：→ empliu: D的意思不是这些东西难易度的问题11/10 15:20
27F：→ empliu: 是在跟你说面试就是不太能有"回忆准备一下"这种情况11/10 15:20
28F：→ DrTech: 这跟能力无关而是市场选择问题。11/10 15:20
29F：→ empliu: 面试当下我也只能根据你讲出来的东西去判断11/10 15:20
30F：→ empliu: 所以你如果当场表现不太流畅熟练的话对我来说就是负面讯号11/10 15:21
31F：→ empliu: 这就跟考试一样 我真的都会阿 只是考试时间不够11/10 15:22
32F：→ empliu: 或者太久没用忘记 这样还是没分11/10 15:22
我说的要准备的当然不是面试时，我到恨不得面试时他们都问我这些推导问题咧
最好还要问李航那本书没有的，像是PCA为什麽是用特徵值，还有上面说的RF为什麽可行
L1 L2 为什麽会有那些效果怎麽用数学分析，BLABLABLA的
哀我真的只是想劝退还想进AI的人啦
这个东西真的水很深而且缺很少啦
33F：→ DrTech: 非怀疑我原文能力，只是原文选择的技术展示方式，是台湾工11/10 15:26
34F：→ DrTech: 作的小量市场。11/10 15:26
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 15:37:11
35F：推 yoshonabee: 感觉可以找想进的公司，然後去LinkedIn找员工内推，11/10 15:43
36F：→ yoshonabee: 这样到面试关的机会应该会大一点11/10 15:43
37F：→ stmilk: 疑这招我没想过耶，我来试试感谢你~~11/10 15:45
38F：推 DiscreteMath: 完全可以理解手刻c++甚至bp的需求xD11/10 16:24
39F：→ DiscreteMath: 其实现有套件很多c++ backend还是太慢 尤其只能用cp11/10 16:25
40F：→ DiscreteMath: u的情况 要不然就是包台大 不好用 懂原理还是怒刻一11/10 16:25
41F：→ DiscreteMath: 波最快11/10 16:25
42F：→ DiscreteMath: 包太大*11/10 16:25
43F：推 DiscreteMath: 蛮羡佩服大大的技能组欸 不考虑往游戏引擎或底层走11/10 16:34
44F：→ DiscreteMath: 吗 业务而非效能技术导向的工作可能真的不好上QQ11/10 16:34
其实毕业的时候有考虑过，现在也觉得那个东西有趣。但我对机器学习其实非常有爱哈哈，
45F：推 johny777: 业界比较care model compression11/10 16:46
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 16:53:36
46F：推 Findagreen: 靠背有够强 你应该是找不到满意的不是找不到吧11/10 17:17
没有，真的连面试的机会都没有。惨
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 17:34:07
47F：推 bochengchen: 感觉同上11/10 17:30
48F：推 min86615: 有比赛经验吗？还有github上面都放什麽专案，可以把Side11/10 17:43
49F：→ min86615: project放上去，如果真的要找研究缺大部分还是需要PhD11/10 17:43
我对kaggle其实满排斥的哈哈，尤其是我有个前同事kaggle是前1%但......
不过主要是我都把时间拿来念书了。
我没在经营github，我是不知道自己的读书心得丢那有没有用，
我应徵时到是有附一些读书的笔记，
像是上面提到的GAN的一些东西，为什麽强大，为什麽难训练，WGAN为什麽强大，
能怎麽修正的一些整理都一起寄过去，展现我不是嘴巴说说有在读书，是真的有在读深入的
且工作上工也有用到，但一样没用哈哈哈哈
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 18:04:21
50F：推 min86615: 会找一些有其他背景的人，我觉得有一篇回覆挺好的，在台11/10 17:52
51F：→ min86615: 湾AI是加分项是工具。当然要做图神经网路就得另外探讨了11/10 17:52
对阿我认同他是个工具，我当初工作还是有另外读那边的产业知识。
所以我才真心建议不要再跳进AI了，没想像地这麽美好
本职学能持续精进，有需要再碰就好了。
其实我在找工作，现在大部分的缺都是倾向:他们方法有了。
机器学习工程师就是架构一个data pipeline，然後建模型训练，接着实际应用。
最终就是要自动化。实际有关机器学习的问题去跟公司的data scientist 讨论即可，本质?
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 18:11:18
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 18:13:02
52F：推 libitum: 感觉你兴趣的缺 都是给phd比较多的 实务上你不找方式呈现11/10 18:15
53F：→ libitum: 连面试都没有也不太意外11/10 18:16
54F：→ libitum: 但你又有几年经历 完全没面试也没headhunter找也太离奇11/10 18:16
55F：→ libitum: 针对jd上得去准备吧 不然很容易准备方向偏离市场需求11/10 18:17
56F：推 libitum: 找几个现在有在徵才 你理想的职缺来看看？11/10 18:22
57F：→ stmilk: 其实原因有在分析，只是我本来觉得没这麽扯，但看起来是11/10 18:26
58F：→ stmilk: 最主要的问题还是缺太少，其他缺就是工程师缺。跟机器学习11/10 18:28
59F：→ stmilk: 有关的就是build model。11/10 18:28
60F：→ stmilk: 啊我的经历有兴趣请站内。我是觉得会离题哈哈11/10 18:30
61F：→ stmilk: 这篇主要是不要在跳AI，因为可能会徒劳无功。不如还是老实11/10 18:35
62F：推 libitum: 其实你整篇提到理论会的部分 找不到面试不太意外11/10 18:36
63F：→ stmilk: 点高SDE的技能，然後多点个distribution system的技能还比11/10 18:36
64F：→ stmilk: 较实际11/10 18:36
65F：→ libitum: 缺少 学经历完全轮不到你11/10 18:36
66F：→ libitum: github跟kaggle某方面是ds 最好量化了解的方式11/10 18:37
我是觉得我时间花下去也差不多啦，最主要的问题就是你说的:缺少就是轮不到我。
kaggle还要考虑我手边的的装备，所以能做的题目大概也都是那些普通的题目
最主要的问题就是我学经历不够，所以我相信现在有想跳AI的一定都是一样的状态
所以这篇的重点一直都是:拜托，别在专门跳机器学习的领域，好好点高自己的技能比较实?
而不是讨论我为什麽没工作没面试阿。一直讨论我为什麽没工作不是很好笑吗= =
现在就是僧多粥少，不只如此，那些还不是僧只是剃光头阿。
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 18:56:44
67F：推 shan31613: 纯研究的缺没有正统学经历连面试机会都没有，建议还是11/10 18:50
68F：→ shan31613: 朝RD(fw or sw)里DL应用的缺找看看，应该有机会，加油11/10 18:50
69F：推 golang: 推文里面看到kaggle排斥那段11/10 18:52
70F：→ golang: 心态上建议也调整一下11/10 18:54
其实你也没说错哈哈，我的确对KAGGLE有些偏见
不过撇开这个，我是有考虑分析不少事情。
而结论是:
那个时间成本不如拿去刷题，从SDE的路进公司，在从公司内部转比较有机会。
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 19:02:56
71F：推 s910: 应该是学历烂吧11/10 18:59
72F：推 james732: 看起来实力超强的说QQ11/10 19:00
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 19:03:34
73F：→ a27417332: 推这种追根究柢的精神，但这方面感觉不好走QQ11/10 19:08
74F：推 MoonCode: 感觉很厉害耶 是不是自己做产品当老板比较快11/10 19:18
75F：推 bill1992: 真的都懂应该机会很多吧11/10 19:21
76F：→ Findagreen: 原po484不会写履历.. 找人帮你写应该面试收到手软11/10 19:28
77F：推 kiwi946946: 我觉的你超强，但适合你的缺在ML中也是最为抢手的存在11/10 19:56
78F：→ kiwi946946: ，你的竞争者学历肯定比你厉害，不知你有没有试着数11/10 19:56
79F：→ kiwi946946: 据化你的数学能力，让面试官看到你的产能11/10 19:56
80F：推 kiwi946946: 比方说你举的杂讯很多那个例子，你可以说一般调包的出11/10 20:03
81F：→ kiwi946946: 来是正确率A，但你用啥数学方法，把正确率提升到B,总11/10 20:03
82F：→ kiwi946946: 提升B-A,多量化你数学能力的贡献11/10 20:03
感谢一直鼓励我的人QQ
其实我不强啦哈哈我不是四大数学系的哈哈，我只是爱读书而已。
其实专案量化成绩是有啦，但我不知道是不是命运使然还是怎样。
我举的这个例子，是我进公司之前他们搞了快两年都没结果，因为一直在用传统的CNN做
真的是各种花俏CNN，连deepfake都被拿来用
但我进去观察一下资料就觉得不适合，所以花了很多时间在搞数学方法
然後撇开新创有的没的杂事和动不动就换目标，七八个月後也是不容易地搞出来了。
然後老板很高兴地拿去做了一些事，後续的一些计画也开始在动时，老板走了...
结果业务端好像都是老板在搞，老板一去世公司就炸掉了。
所以这个就没下文啦，後续是有人私底下要跟我买，我觉得麻烦也不道义就没卖了。
但我其实不想讲太细节就是因为这看起来超像嘴炮，所以想着重在方法跟技术知识面而已
不过就算被当嘴炮也没差反正人生是我自己的哈哈
83F：推 ManOfSteel: 感觉原po很强阿！帮推11/10 20:25
84F：推 everglow: 稍微看一下你在板上的文章 感觉你的gap year才是致命伤11/10 21:10
85F：推 jcaosola: 你有竞赛网站的积分之类来量化技术能力的纪录吗?11/10 21:14
86F：推 solitude6060: 身为完整看过WGan论文然後现职是相关领域的人，我11/10 21:26
87F：→ solitude6060: 相信原po 是有能力的。但不是每个人资或是主管都有11/10 21:26
88F：→ solitude6060: 能力判别，所以是不是其实拨点念书的时间去打比赛11/10 21:27
89F：→ solitude6060: 或是充实github会比较容易让人一眼看出你的能力？11/10 21:27
其实真的考虑时间成本下来，我真心认为刷题可能效益比较高，而且学到的东西也比较多哈
所以我比较愿意刷题而起也满享受的。但请注意我知道这之中的差异，
KAGGLE"可能"会让我"多一点"面试的机会，而刷题会让我现阶段往SDE的方向走。
我刷题是为了增强自己的能力，而不是为了"机器学习相关工作的面试"
不过话说回来我真的觉得太聚焦我的状况了
直接说我目前的打算，我还想工作只是为了存点应急钱去念博士，
现在应该就是不会在尝试存应急钱直接去念博士，我也确定我爱研究，
我直觉判断我读博时intern应该会好找，应该啦。
所以大家别在聚焦在这个啦哈哈哈
90F：→ DrTech: 不是履历的问题啦，研发职缺，原文有相关学历或论文吗？11/10 21:27
91F：→ DrTech: 没有直接过滤，很现实。开发职缺，需要一直算数学的技能吗11/10 21:27
92F：→ DrTech: ？不需要也没加分。11/10 21:27
93F：推 viper9709: 推~这也太扯,这种能力去送foodpanda...11/10 21:29
94F：推 ManOfSteel: 真der。看完之後我心里会想：我才是那个该去送foodpan11/10 21:33
95F：→ ManOfSteel: da der人11/10 21:33
96F：→ ManOfSteel: 想诱我转职foodpanda，啧啧11/10 21:35
真的没有强啦我真的只是普通而已
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 22:11:49
97F：→ caseypie: 你搞错了，根本不需要懂原理，反正现在都是调包调参而已11/10 22:30
98F：→ caseypie: 一堆公司面试时狂问CNN RNN LSTM Transformer11/10 22:30
99F：→ caseypie: 进去以後不是random forest就是xgboost，更难的根本没用11/10 22:31
100F：→ caseypie: 重点是如何证明你懂实际业务上的问题并且迅速设计模型11/10 22:32
101F：→ caseypie: 想走演算法设计只能去deepmind那类机构，但得有paper11/10 22:34
所以您有没有发现我在叫大家别来了，这太简单了钱也不多呀
102F：→ yoshonabee: 我觉得懂原理还是有优势的，大概就是普通台厂跟一线11/10 22:35
103F：→ yoshonabee: 外商的差别11/10 22:35
※ 编辑: stmilk (223.137.88.3 台湾), 11/10/2021 22:36:57
104F：嘘 final01: 你的问题应该是嘴泡能力大於技术...11/10 22:43
105F：推 paint: 找工作跟面试 就我的观察是 能力 运气 与相性的结果 祝顺利11/10 22:46
106F：推 lukelove: 要马打比赛 要马发paper 要马leetcode 要马side project11/10 22:59
107F：→ lukelove: , 版友说的没错, 你的问题就是你认同的东西在别人眼里是11/10 22:59
108F：→ lukelove: 嘴里11/10 22:59
109F：→ ericrobin: 把时间浪费在写红黑树跟基本DNN找不到工作刚好而已= =11/10 23:09
110F：→ ericrobin: 而且八成大概是在简历关就在学历部分被删掉了11/10 23:10
111F：推 mmonkeyboyy: 就 不管是不是人才 别人不需要也没用啊11/10 23:35
112F：→ stmilk: 楼上你说的没错，所以我看很开哈哈哈，生命要另寻出路11/10 23:38
113F：推 fr75: 这种找国外远端还比较有机会 大家都说了台湾的职位只要你用11/10 23:57
114F：→ fr75: library不用懂那麽深啦11/10 23:57
115F：嘘 yagerbomb: 学历太烂+只会嘴炮吧。你可能实力真的不错但没有强到能11/11 00:35
116F：→ yagerbomb: 突破学历限制11/11 00:35
117F：→ yagerbomb: 台湾AI缺都台清交电资硕，尤其很多AI跟硬体相关的特别11/11 00:35
118F：→ yagerbomb: 多，有学历要找的话轻松多了11/11 00:35
119F：→ stmilk: 就算我真的在嘴炮好了，假设我说的程度只有我写的四分之11/11 00:48
120F：→ stmilk: 一，也就是数学只会微积分，电脑技能只会写python回圈然11/11 00:48
121F：→ stmilk: 後只会套模型调参，机器学习只会李航的那本但只到听过的11/11 00:48
122F：→ stmilk: 等级，结果还是我後半生会失业也赚不到钱，结论还是不冲11/11 00:48
123F：→ stmilk: 突啊，你们到底在执着什麽我不懂=_=11/11 00:48
124F：推 Hsins: 帮补血, 老实说李航那本我不认为看完对於找 AI 职缺有什麽11/11 00:51
125F：→ Hsins: 帮助...11/11 00:51
126F：→ Hsins: 另外, "线代、微积分、机率、统计都很熟, 工作也会用到"11/11 00:52
127F：→ Hsins: 但你给的例子却不太像是日常工作会被 "应用" 的问题...11/11 00:53
128F：→ Hsins: 我能理解工作中会应用到这些数学概念的情境, 但很少会是证11/11 00:54
129F：→ Hsins: 明或是求出解析解的方式呈现, 通常比较像是将问题抽象化简11/11 00:55
130F：→ Hsins: ?11/11 00:55
我好不容易等到一个人愿意讨论一下技术但不知为啥他删掉了=_=但我都打完了就贴一下哈哈哈，顺便回答你的问题。我之前碰到的问题，就是因为有论文证明该问题处，我才没在多花时间在那个模型上，我是还没办法做到那种程度的证明啦，但还是有能力做一些证明，这些证明也让我跟老板沟通顺畅些没在做些我认为的偏路，然後我同意你说的，更多时候就是抽象化简化问题就是。以下是我刚回覆的技术部份。
当时我处理的影像超稀疏的。gan难train是在那个模型非常
容易被一个函数分开，也就是可以找到完美的discriminato
r，这是这两个机率support的问题，而且条件还不用是这两
个support不相交，只要几乎处处不相交就可以，这个至少广
大的实验告诉我们非常容易发生。所以本质上只要是那个co
st function，初始值不好不管做甚麽调整丢什麽模型进去都
会遇到这个问题。然後可能是我的处理的影像真的太稀疏，
应该是可以理解成这个pattern的support超小，基本上根本
train不起来。所以我那时的想法是就是想要一个理论上直接
可行的结果。这样我不用把模型弄得巨爆干复杂，设计一堆
有的没的只为了能先train，与其想办法各种尝试引导训练，
抽象地说就是想办法找一个先验让两个pattern的support能
重合。不如直接一个理论可行的再去处理wgan模型的问题,因
为比较具体有方向。顺便说之前的别组也是各种花式加self
-attention在decoder和encoder中也是没用，至於原因因为
不是我做的我没去也不想去深思，或许也可以就是~可能有错
，多包涵啦。
131F：→ shomingchang: 贵圈真的有够内卷的。。11/11 01:14
※ 编辑: stmilk (223.137.88.3 台湾), 11/11/2021 01:46:54
※ 编辑: stmilk (223.137.88.3 台湾), 11/11/2021 01:56:19
132F：推 mmonkeyboyy: 虽然我不知道为什麽要欺负做数值的 11/11 04:43
133F：→ mmonkeyboyy: 很多做减模型的....都跟数学没啥关的 11/11 04:47
134F：→ mmonkeyboyy: 啊很多AI公司都要这种人 薪水$200k起跳哦 11/11 04:48
135F：→ mmonkeyboyy: 更别提那一堆做data的 11/11 04:50
136F：→ caseypie: 工作很简单，但钱并没有不多，主要是marketing的问题 11/11 05:14
137F：→ caseypie: 要有把ML和公司业务结合的能力，这并没有那麽简单 11/11 05:15
138F：推 mmonkeyboyy: 其实很多AI公司都不太赚钱的XD 11/11 05:19
139F：推 viper9709: 推原po重心根本不在自身上+1~推文整个歪楼了XD 11/11 17:41
140F：推 hahaxd78: 推一个。 11/11 20:34
141F：→ hahaxd78: 想请教一般ML不平衡分类模型，变数也都很稀疏情况下， 11/11 20:34
142F：→ hahaxd78: 除了up sampling跟套class weights外，有更创意的做法 11/11 20:34
143F：→ hahaxd78: 吗？ 11/11 20:34
其实都差不多吧，看状况用不同的方式去做增加或减少而已
我稍微想到可能比较有创意(?)你可以尝试的方法。
从sample的特徵下手，而且我会倾向不用up sample因为我不喜欢人工数据XD。
杂讯很多的情况就上面有提到，从sample中随机取特徵，然後创个新sample。
但因为我的问题是哪些是杂讯也不知道，
所以这样的好处是资料都是是自然环境产生的，
我不用去考虑这样取是不是会有bias，反正随机数拉高一定会逼近我要的样子。
注意如果特徵彼此之间独立性高，这样做会有问题，
依我的经验我还想不到哪些可能的题目可以用这个XD
然後是特徵少且彼此独立性高且样本数也很少的话，
这种的就麻烦因为你的资讯本来就少，大概只能用加杂讯的方式去up sample了，
然後是特徵少且独立性高然後样本高，那这样我会采down sample，
我现在直观想到就 greedy 地去做。
先根据你的问题，观察哪个特徵最重要(简单的方法就随机森林)，
从这个特徵来看聚的状况，但注意这个聚集状况可以用不同的方式来定义，
就是用不一样的距离公式来尝试，
把这个群体中sample数偏高的类别删掉一些，
基本假设就是因为这个特徵影响大，
那又特别多的sample聚集在一起的东西可能影响会太大有bias
同样地你可以反过来从不重要的特徵下手去砍，这样对整个资料的影响会最小
然後反过来特徵多且独立性高样本数多，因为这种状况可能会有为度灾难的可能
所以会特徵一起砍
观察不重要的特徵的聚的状况，
直接砍掉这个特徵，并砍掉不平衡的那个地方，然後一直持续到样本平衡
特徵多且独立性高样本少，其实会发现样本少就是麻烦，
所以我一样会砍最没影响往上的特徵，然後观察从最重要往下的特徵的群，
去砍里面不平衡的那方
不过样本数少可能会有问题，我应该还是倾向up sample就是
然後我现在想的到的终极状况之一是特徵没有特别的群聚现象，
因为这个太抽象可能个别问题有不同的方法XD
在目前抽象的假设下我只能建议加杂讯 up sample
或是随机去 down sample
以上你参考一下，但毕竟我不知道你做的题目，
所以我尽量先考虑比较一般只考虑抽象特徵的情况了
但对某些特定题目不一定可行你要小心使用哈哈
最後我上面除了杂讯那个都假设独立性高，这个可以很简单地用PCA达成，
所以如果你想要维持原本的特徵，不用独立性高的假设其实应该差别也不大
对不起我昨天其实满累得没注意到你应该就是问样本数很少还稀疏的情况，
样本数少的时候方法想得很混。
如果样本数少，并假设超级极端状况99%比1%。
一样观察特徵附近(注意这个"附近"一样是根据你的距离定义，根据不同问题是用的距离定义)，
因为资讯实在太少，基本只能假设这个样本附近可能会有同样的标注。
所以从附近去生成样本，
如果这个某个标注还在另外一个标注的某个聚落附近，你也可以考虑降低这个聚落的影响，
就是在这个聚落去砍掉多数的样本。
其实概念上都差不多，就是根据你的问题，看有没有某些前提资讯可用，然後去resample。
根据你的问题，这个特徵的选法就不同，探讨聚落的方式也不同(像是KNN，T-SNE)。
若是你用的是随机森林的方法，你甚至可以考虑把这个算法启发化。
其他的方式想启发化也不是不行，但是就是没有tree model这麽乾净俐落就是
以上就是我目前想的到的处理方法哈哈
※ 编辑: stmilk (223.137.88.3 台湾), 11/11/2021 21:46:44
※ 编辑: stmilk (223.137.88.3 台湾), 11/11/2021 21:58:18
144F：推 tkigood: 所以其实讲白了 就是前面讲烂了的 "AI这职缺在台湾" 11/11 22:44
145F：→ tkigood: "拥有硕博士学位只是基本门票" 非本科转行或学士根本是连 11/11 22:44
146F：→ tkigood: 你有多强都不想看 我相信有看的话 不会一点机会都没有 11/11 22:45
147F：→ tkigood: 但是都是直接 "蛤? 学士? 还不是本科 直接PASS吧" 11/11 22:46
148F：推 x3795566: 你有投MTK吗？ 我能力搞不好没有你十分之一 没被考什麽 11/12 00:36
149F：→ x3795566: 就上了.. 11/12 00:36
150F：→ stmilk: 大厂我连履历有没有被已读都不知道哈哈哈哈 11/12 00:41
151F：推 NTUmaki: MTK不收学士吧 11/12 08:12
※ 编辑: stmilk (223.137.88.3 台湾), 11/12/2021 12:25:17
※ 编辑: stmilk (223.137.88.3 台湾), 11/12/2021 12:27:45
152F：推 hahaxd78: 谢谢分享 11/12 21:41
希望能有给你一些想法啦哈哈
153F：推 hsiaoeddie: 可是我非本科四大理工硕找演算法相关的职缺还是一堆人 11/13 01:55
154F：→ hsiaoeddie: 来找我欸 只能説原po时运不济 11/13 01:56
155F：→ stmilk: 其实没关系啦我看很开，因为是我自己喜欢做的事，然後现 11/13 15:11
156F：→ stmilk: 在放弃在台湾挣扎要出国去念书了哈哈哈 11/13 15:11
157F：→ stmilk: 就一边foodpanda一边刷题一边找代办了 11/13 15:12
※ 编辑: stmilk (223.137.88.3 台湾), 11/13/2021 15:17:46
158F：推 pjwck: 数学系学士没有经营Github或展示你实力的方法的话，就会变 11/15 19:33
159F：→ pjwck: 成都是空口说白话，通常会更愿意找顶大硕士CS来面试吧？只 11/15 19:33
160F：→ pjwck: 针对没拿到面试回一下会不会是这个原因 11/15 19:33
161F：→ stmilk: 应该单纯是实力不足 11/15 22:40
162F：推 pjwck: 不是这些原因的话，应该真的是实力不好了 11/16 01:20
163F：推 alksjdf: 原po真的强，我是四大非本科跳AI的 个人感觉AI缺比去年 11/16 20:26
164F：→ alksjdf: 很多了，但感觉你是想找纯做AI演算法的 台湾真的比较少 11/16 20:27
165F：→ alksjdf: 就连外商的AI缺都需要data engineer/software engineer技 11/16 20:28
166F：→ alksjdf: 能 11/16 20:28
167F：推 KAOKAOKAO: 看到最後一段下巴都掉了 祝原PO海外求学顺利 11/18 11:51
168F：推 Kinchtwck: HR说还行你就信?感觉就是CV乱写一通，面试没准备到重点 11/19 01:07
169F：→ Kinchtwck: ，也没有connection，不过你想要的工作内容，也只有dee 11/19 01:07
170F：→ Kinchtwck: pmind/google research/Microsoft research 或是其他以 11/19 01:07
171F：→ Kinchtwck: 研究为主的地方才比较适合，但这些地方超难进 11/19 01:07
172F：推 leviathen: 有E2E deployment经验还是最重要，理论在强，无法商品 12/09 12:39
173F：→ leviathen: 化的模型就是没用 12/09 12:39