原文恕删 我进入职场後才发现 还是真的有些资讯人对机器学习或资料探勘认识不多 而且原po文底下对text领域的推文好像比较少 所以我简单分享一下我的领域还有实际应用 我研究所是做text mining, word embedding, topic model(LDA), NLP (拜托公司有缺人做这块的请联络我XDD) e.g. 1 LDA->推荐系统 LDA简单来讲就是分群 业界最常用的就是推荐系统 某家新创电商用LDA做推荐系统 在原本的计算能力下 推荐的命中率从原本的10%提升到45%~50%之间 e.g. 2 LDA+social network -> 热门议题发掘 这是小鲁做的研究之一 我们那时候跟某公司合作 挖掘社群网站内重要的议题 会依照不同人在社群内的领导性 迭代计算热门程度及重要性 後来实际运用是新产品推广和舆情分析 尽早发现对公司不利的言论以利後续灭火 e.g. 3 NLP -> 聊天问答机器人 这个是我现在主要做的领域 要处理的是对特定项目进行了解 还有给予使用者建议 这个其实蛮实际的 对组织来说 如何完整记载资讯还有提供给需要的人使用 这件事情一直都是人工处理 有这套系统後 员工遇到问题可以直接向机器人寻求协助 这可以降低沟通成本及加快开发效率 e.g. 4 word embedding -> 机器翻译 传统上对文字的处理大多是用one-hot的方式做输入 不过很容易遇到维度太大 而且罕见词浪费空间等问题 word embedding简单来说就是可以把所有文字转成固定大小的矩阵来处理 例如 queen = [0.1,0.5,0.2] king = [0.4,0.1,0.7] ..... 那他神奇的地方在於 转完的矩阵有关联性 例如 queen - woman + man ~ king I am starving ~ I am hungry (这个要额外做处理) 对不同文字间 可以再用NN做转换就变成 I am starving ~ 我肚子饿了 不过这套目前还有一些问题还没被解决 以上这四个例子其实都很常见 而且很难用非机器学习(可能不是NN)的方式得到更好的结果 简单来说 机器学习在"无法简单定义流程"的地方 通常可以获得更好的成效 以上是我在这领域待3年左右的分享 不过我刚上班没多久 看的可能比较狭隘 其他还请强者补充XD -- Sent from my CASIO fx-991es . --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.227.49.28 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1485583424.A.573.html