<< edit:本文同步刊载在Medium，随个人喜好可至网页版阅读：https://goo.gl/XYjC4D 【前言】 本文主要内容为Data Science相关，并涉及大量个人经验和观察；这是做Data约莫五年 多的小心得，而这些经验来自电商、零售或平台服务，并没有纯R&D的经验。希望带 你走过一趟能让你身历其境；我也会用整篇文章尝试去回答「我这样准备够了没？」这个 经典问题，也欢迎各位版友分享自身经验或看法。内文将从心理素质和学历及技术背景来 讨论这个行业。另外，有个小假设，如果是前文已提及的事情，我会以大家都知道这些事 情的前提下继续讨论，恕我不重复自己 (DRY)。 上篇回文提到「最近爬文内建主题过滤器，一堆标题直接略过」，以SEO的角度来思考， 我的标题可能下的有点差；但本着随缘分享的心情，这篇我就维持原标题了，让有兴趣的 人自己看到即可。 【 约5400字，平均阅读时间13分钟 】 本文为第二部分，文章主要面向想入行或是对Data工作感到好奇的版友。 有兴趣的版友可以随自己喜好随意看看。 - 心理素质 首先，先不论你对Data Science的想像是什麽，Data Team，特别是Data Scientists，绝 不是个奇怪的数学社团。在这里每个专案都有他自己的目标函数(Objective function)， 这并不只是数学上，也包含到底能带来多少商业价值。躲在角落动动笔和脑、写写Code、 发现或使用Model，大概只有30%的重要性是在做这个吧。我想说的也不是你常看到的 Data creation及Data clean，他们的确是占了很大时间及重要性，我稍後会回到这个主 题。 做Data的思维应该要像是做科学般的严谨，又要有商业上的弹性，他跟工程师没两样，没 比较高尚也没那麽特别，我们都在「发现问题」和「解决问题」。在理论与现实间如何搭 桥，数学、Domain Knowledge和Coding就是解决问题的手段。然而「发现问题」才是我们 的大挑战，这其中包括了：我们如何将日常语言定义为严谨问题、是否能合理的做基础假 设而不导向失真、又或者是如何定义才能帮助你完成目标...等等，毕竟很多事情并非那 麽直观。我很喜欢一个在学习高微时助教举的着名例子：错误的假设能让你「证明 0 > 1 」。这种反直觉非常的自然，你也许觉得没什麽困难去察觉，但当我们透过复杂的Model 、数千万笔的资料加上千行的Code产出了结果，试问我们还可以允许多少错误假设？而又 能多自然的发现结果是违反直观的？那些明显如 0 > 1都是非常严重的错误，我们才会这 麽容易发现。而练习Kaggle是好的，但要记得是这里的问题和Features完全都被定义好了 ，甚至连评分的Objective Function都已经给了我们。Kaggle常被同事们当作消遣或是练 习新技术的地方，因为通常无需动太多脑筋。 因此，如果只是喜欢这种发现与解决问题的过程，那完全不需要执着於Data Science，这 世界上有太多工作是这个样子的。另外，如果你的工作环境像在GAFA里的一些部门允许你 做纯R&D，不用步步都考量附加价值或成本，只能说那真的太幸福了。 接着讨论Pipeline，经常一提到Data Science便会强调Data creating、wrangling和 cleaning三个过程占绝大多数的时间，但其实还有很多重要的事；这是绝大部分想要跨行 (非资讯领域)者会有的盲点：工作不是打Kaggle，他无法带给我们的是理解实际工作的 Pipeline。进入Production後，如何移交(deliver)你的结果？运算出的结果还打算用csv 来传递？要产出新预测的时候还去terminal打上make prediction或是python model.py？ 也许高阶一些，那麽除了cron job之外，是否有其他解法去监测每个步骤是否执行成功？ 能否让步骤间有相依性？如何确定你的code有容错能力(Try Catch)？你有Logging？你有 做Functional test或你会写Test？化约来说，就是些Design pattern或CI/CD的问题，我 想这一连串的问题有些恼人，也许你现在不知道怎麽做，但我们都必须知道有这些问题， 甚至在未来学会怎麽做；因为你想成为一个Scientist，这些都像是实验流程的一部分。 这也是为什麽当我们觉得自己已经准备到一个程度了，为什麽还是没公司愿意给机会？或 是不知道自己一直无止境的上DS/ML相关课程，但到底何时能准备好？我个人认为这是视 野(vision)上的问题；你能把细节思考的多周全、做得多完美，给了你是否有自信作为一 个「独立的」Data Scientist。 再来是对Data Team各个Function的理解，同时也将解释为何说「Data Science不等於 Machine Learning」。严谨来说，Data Scientist、Data Engineer、Machine Learning Engineer为三个不同的工作，即便都有重叠，但主要的工作内容有极大不同。然而网路上 已有太多详细资料介绍，这边我只做提醒不深谈，接下来我只会针对Data Scientist和 Machine Learning Engineer「消歧义」。另避免争议，每间公司在写Job Description (JD) 时当然可以有不同要求，这边我想讨论的是原始定义。 相信大家都有看过一个描绘Data Science的文氏图，Data Scientist可以是个Software Engineer在算法部分的特化，也可以是一个新潮的经济、统计学家，他随者时间的演变被 赋予不同的名称，但在本质上都分享着一些明显的继承。而当中Machine learning是另一 个解决问题的手段，而非唯一；举个例子，某些推荐系统问题我偏好用图论来做，最後再 用ML做优化，原因是无论DFS、BFS...等相较古老却是基石般的算法，在效率或资源的优 化都有一定的保障，而只要明白原理就能将之变形成一个ML能优化的问题；如果当有人看 到一间公司开出Data Scientist职缺，在他快速浏览後，立刻心生鄙视，想着：呿，这工 作连个明确的ML问题都没有，这也叫Data Scientist？但也许其实是他不懂Data Science 。 接着是Machine Learning Engineer，据我了解台湾目前不多公司有这样的职称，即便国 外也不是所有公司都有明显的分垒，这也是做Data和一些想做Data的人的痛。ML Engineer比起Data Scientist，他就更专精在model上，从发现或实作高深的Model本身或 是在进入Production之後的各种问题如Model的Delivery等等。ML Engineer的定义可能就 比较接近部分群众对Data Scientist的想像，但事实上这个职位吃的数学又多上更多；有 时是一些线上课程给的错觉，导致有些人对Data Scientist的想像仅止於ML；多一点可能 还会把Data Analyst、Data Engineer的概念也加进去些。此外，另一个混淆人的原因是有 些Data Scientist的JD中，填充了许多Machine Learning的漂亮话，导致人们看到的 Data Scientist好像只要做ML就好了。 最後的Take Away：Data Science不等於Machine Learning；而想换工作时，先想想到底 对Data有热情还是只是想玩玩ML。我们有时会在Job Affair戏弄一些看起来目标就很不明 确的人，会问说「哎呀，可能Data Scientist不缺了，但我们缺个Machine Learning Engineer (Data Engineer)，你觉得如何？」，这些心志不定的求职者通常都会说他有兴 趣、他能做，但我们都知道他没有真的理解他将面对的是什麽。 - 学经历背景、技术要求 那麽到底什麽样背景的人可以做这行呢？没有限制，限制的是我们手上的技能有什麽？是 否有发现及解决问题的能力？毕竟同一个问题可以有很多种方式去解，这也是为何(前)同 事们，有应用物理博、天文物理博、语言博、理工硕、经统数硕、资讯硕...背景百百种 。至於哪些技能是必须的，这个网路上都有清单，这边只想提醒几个我觉得最重要的，给 非资讯出生或是觉得做DS一定要有个博的版友： 1. 学会读Documentation、Source Code，善用Google和Stack Overflow(当然是英文) 2. Python 3. SQL 及 Database原理 4. Linux 及 基本网路、网站架构 5. 资料结构、算法及Machine Learning知识 6. AWS / Google服务 7. 学习做概念验证 (Proof of Concept, POC)、看和做Benchmark -. Kaggle、Mini Project 以上除了1, 2之外，重要性不分轩轾，数字只是想帮忙在时间有限的情形下知道先掌握哪 些。 Python，它很好用，但绝对没有我们想的那麽简单。「魔鬼藏在细节里」用来形容Python 应该非常合适，它可能乱写都跑的起来，等到结果真的出现细微的错误又被我们发现 时，真正的问题点可能想找还找不到，毕竟不是所有人都接触过底层的语言。因此，和 Python相处，真的是要持续地学习和深入了解它。其他像是Profiling、Multiprocessing 或是Parallelization等等，其他文章可能都讨论过，特别那些「我觉得不重要，但别人文 章总是会提到的东西」还是留点心，至少加入待读清单吧。 然而不仅仅是Python，还要熟悉SQL和Database，新手时常想忽略他，觉得没什麽用。这 里说的Database是指像在记忆体优化的Server上，而非在练习SQL的笔电或是t2 micro instance中。很多时候我们真的不会想让个巨大的DataFrame在instance或local端花个十 分钟做preprocessing，又或者如果资料不是只使用一次，如何先将资料处理好存进Data Warehouse方便下次使用？这时如果我们熟悉一种以上的工具，那就知道如何怎麽操作才 最有效率，所谓效率除了运算资源外，也包含你的时间、同事的时间还有你是否会crush 自己或同事的运算。 举例来说，在给定一定资料量的情况下，用Pandas把一个Column包含list的DataFrame全 部展开可能要用个数行(可能还加上些看不到的for loop)再加上短则以分钟为单位的时间 ；但如果熟悉SQL的话，可能很快就想到用cross apply只要两个select就可完成，又或是 在Big Query或Snowflake环境中，可能用LATERAL FLATTEN来处理就是个好选择，而处理 的时间可能是秒为单位；在这样的情况下，我们就会选择先在Server端处理好，再写入资 料库(或读取)。因为即使真的需要使用包含list的DataFrame，也只需要一行groupby加上 unique，pandas很快就会帮忙处理好了。 很常时候这些wrangling并不是一次性的，更可能你生产(populate)出的资料也不是你一 个人要用，那麽做这些评估就是理所当然的了。小时候真的是铁齿觉得pandas可以做的事 ，干嘛还要学SQL或了解Database的原理呢？但当越来越熟练後会发现，即使什麽都 vectorization去解决，也突破不了local硬体的极限，虽然形容的有点夸张，但概念大 致如此。再举一个关於Database的例子，一般的RDB是用列来写资料的，如果用python connector加pandas可以很写意的储存资料；然而像是那些write by column的资料库，如 果不明白其背後的原理还用insert by row的方式去写资料，那可能真的等到天荒地老。 再来是Linux、网路等相关知识，这部分除了像是爬虫、API之类的应用外，还有个心酸的 原因；说真的Data Scientist是个很奇妙的存在，Backend Developer不会当你是个 Developer，而是弄些奇怪数学的人；公司其他非技术的部门的同事却都把你当Developer ，因为对他们来说反正搞不懂的都是程式和逻辑。而很多时候各种环境都需要你自己快速 的架设，除非公司有分配Data Team专用的Backend Dev和DevOps。否则当你的需求是因为 R&D而产生的，比起公司其他有产值的东西，RD的Priority很容易被排到最後。需要 NoSQL DB去纪录每一个预测用的参数和结果？想要用开源的Dashboard，又需要url分享给 其他部门看？通通自己架。而这也是为什麽需要学会读Documentation和Google，你很少 听到资讯背景的人在抱怨这些，因为他们都很习惯一边看说明书，一边去摸索新玩具；这 也是为什麽有些公司开DS缺都会先要资讯背景，因为本科就是省事又好用。 接着是资料结构、演算法和ML的知识。好的资料结构才能让 (ML) 演算法跑得好跑得快； 而且如果不明白资料结构，你做profiling也只是瞎忙而已，这些背景知识都可以帮助你 解决问题或加速解决问题。选择好的Machine Learning算法亦是；例如，由於Kaggle的关 系，现在人人起手便是Xgboost，但如果没有去理解bagging和boosting的差别，有没有可 能你错过什麽更轻便的算法或是让你一直往overfitting去了呢？ AWS / Google的各种运算服务多的无法枚举，而要学的原因和重要性我也不多说了。 学会做 POC 和Benchmark也非常重要，也很少有人在讲Data Science时提起。然而就像我 们会想拿Data去打脸某些人事物一样，在决定一个Solution前如果不做POC，不看已经有 的Benchmark，那我们和那些凭感觉做事的也没差别，怎麽好意思说自己做Data呢？因此 千万不要铁齿，这个待定的Solution可以是算法、开源软体或Package，或是选择外部服 务如资料库，或是选AWS还是Google。 最後才会是Kaggle或是mini project。做这些很重要，但要怎麽去做？是否知道如何呈现 ？反而才是重要的。要做的原因很简单：就是把手弄脏(Get your hands dirty)，这不需 多做解释。然而，开始弄脏手後可能掉进的误区就是想冲高排名。在面试时，若面试者告 诉我他学到什麽，我绝对会专注的听，因为也许能学到些什麽，更重要的是我可能会因此 找到一个有想法的好夥伴；然而，如果他自顾自的说他的Model多厉害、预测都是多精确 bla bla bla，我可能30秒後就会恍神或是失去耐心；原因是这些排名或嘴巴说的数字完 全无法反应真实，人人都可以去复制贴上个Kernel取得好成绩。因此，Kernel和讨论版要 看、多学，复制Kernel只是重制看别人Model效果如何，但要对自己诚实，那不是真的是 你的东西。 Mini project同理，现在太多书籍或网路资源在做同样的东西，重要的同样是你学到什麽 ，如果只是说用过Tensorflow、keras做做MNIST等projects，那面试官看手上论文的 State of Art可能就够了。除非你自己刻了一个Attention Layer去解决你的问题，或是 实作了Transformer等新东西去解决老问题，否则老调真的很难引起注意；这些都只是例 子，ML或DL的技术每个月都推陈出新，就看你多有心去理解这些新理论或应用了。 而到底是要继续学新东西还是先把旧工具用熟？这个困境就很像Reinforcement Learning 中的Exploration-Exploitation Dilemma，但无论如何都不要把自己限制在非Machine Learning算法不学；技能树的广度发展也要合理，否则面试官一下就认定你是在凑字数的 ，那得不偿失。回想那个文氏图和那些可能看过的JD对技能的要求，单纯要成为一个 Data Scientist可能更偏向广度，而要成为「好的」Data Scientist差别则在於深度，那 些你特别之处造就你成为更好的。所以如果基本功优先点选，等到你开始觉得自己到达瓶 颈时，开始往广度发展，回头看看自己的盲点和缺陷，反覆这个过程就先让你成为一个「 好的」OOO了。具体例子来说，如果你是念资讯的，先Maximize你本科系的能力，再准备 开始往外点；即便你无法成为一个典型的「Data Scientist」，你也具备能力做一个好的 Software Engineer，或许你还能特别往算法或Text发展，那也是一种Data Science不是 吗？而对於其他科系，Coding在你选择想走这条路时早已经是必备，别只是想着「跟同学 比起来我会coding啊」，那些人可能根本也没想和你在同一个pool，你的对手反而在外面 ；因此本科那栏请自动补上coding和资讯相关的基础，其余的都可以参考那些网路上的清 单或是文中的小建议；勇敢面对现实，但也不需妄自菲薄。 - 除此之外 培养嗜好是恢复创造力的一大帮助，如何在忙碌的日子中达到work-life balance是无论 在世界哪个地方工作都要面临的功课。最後身体健康很重要，这大家都知道，但怎麽做和 如何做适合自己，那需要自己调适安排。我对CodeTengu很久以前的标题很有印象，大概 是说「如果做不出来的时候，资深工程师知道什麽时候该站起来走走，而更资深的知道何 时该跑」。做DS和其他Function很像，很容易陷入停不下来的漩涡，无论是热情还是 Debug或是Debug的热情在驱使着你。 有兴趣入行的你，综上所述请先想好 1. Data Science对你而言是什麽？你为何爱Data的工作？ 2. 如何规划未来？你是学生，还是已经在工作了？该如何继续学习以达成目标？ 3. 到底想在什麽样的产业中工作，是纯DS (或ML或AI)？还是电商或其他有商品的产业？ 4. 你的环境有这个工作吗？没有的话，是要自己创造、转换环境还是退一步？ 5. 是否愿意花时间学好老技能：英文。 另外，如果你想跟我说：啊，这里是台湾啊！ 我明白也完全理解 但这句话不应该让你允许自己直接忽略那些更重要的事实：变强和改变环境(无论是就业 环境、政治...) 也许我说的轻描淡写，但这些都不是纯粹的理想 而未来都在我们手上，该如何改变环境或自身，决定在我们而已。 衷心希望这篇文章的某些小想法能带给你一些启发，文章或多或少也有可争议之处，欢迎 批评指教 谢谢阅读，第三部分将会是与Meetup有关，但仍需要思考如何进行，如果对这个活动有兴 趣的朋友欢迎随时站内信，我们能透过其他方式先聊聊现有想法。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 81.250.134.182 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1547504507.A.8E1.html 谢谢揪错，已经更正！这个中文我真的经常弄反 同意！谢谢补充，文中已做些微调整，但会保持我的原意 而确实这挺看公司的，我个人就是个全包的概念... 这部分我觉得倒不如去疑问何以这麽多公司开始用"Data Scientist"去包装这麽多工作 以至於有像mago你说的这种现象。否则基础好与不好，不就是我们为什麽需要面试的原 因吗？ 谢谢大家的回馈，很开心能多少帮助到大家一些 如果有任何想私下询问的问题，烦请直接使用站内信询问 不然时差8小时很难即时的用讯息一来一往 但想提醒的是，我真的没有算命这个技能 可能无法回答一些真的不着边际的问题，还请见谅 你好，请问你指的RD是指像是Backend Developers吗？ 但无论如何，这是个好问题 基本上这是利用组织架构设计的方式来帮助我们互动 然而在PTT上用文字很难清楚又简单的解释 这也是我想办MeetUp的原因之一 我很希望也能知道现在台湾的公司有没有新的模式来帮助Tech的人们互动 想藉此机会定期交流 Meetup的资讯会先在架构比较确认後尽快与大家分享讯息的， 谢谢回馈 ※ 编辑: benson415 (81.250.134.182), 01/21/2019 01:27:18