作者ql4au04 (泡麵)
看板Soft_Job
標題Re: [請益] 深度學習的實際應用
時間Sat Jan 28 14:03:41 2017
原文恕刪
我進入職場後才發現
還是真的有些資訊人對機器學習或資料探勘認識不多
而且原po文底下對text領域的推文好像比較少
所以我簡單分享一下我的領域還有實際應用
我研究所是做text mining, word embedding, topic model(LDA), NLP
(拜託公司有缺人做這塊的請聯絡我XDD)
e.g. 1 LDA->推薦系統
LDA簡單來講就是分群 業界最常用的就是推薦系統
某家新創電商用LDA做推薦系統 在原本的計算能力下
推薦的命中率從原本的10%提升到45%~50%之間
e.g. 2 LDA+social network -> 熱門議題發掘
這是小魯做的研究之一
我們那時候跟某公司合作 挖掘社群網站內重要的議題
會依照不同人在社群內的領導性 迭代計算熱門程度及重要性
後來實際運用是新產品推廣和輿情分析 儘早發現對公司不利的言論以利後續滅火
e.g. 3 NLP -> 聊天問答機器人
這個是我現在主要做的領域
要處理的是對特定項目進行了解 還有給予使用者建議
這個其實蠻實際的 對組織來說 如何完整記載資訊還有提供給需要的人使用
這件事情一直都是人工處理
有這套系統後 員工遇到問題可以直接向機器人尋求協助
這可以降低溝通成本及加快開發效率
e.g. 4 word embedding -> 機器翻譯
傳統上對文字的處理大多是用one-hot的方式做輸入
不過很容易遇到維度太大 而且罕見詞浪費空間等問題
word embedding簡單來說就是可以把所有文字轉成固定大小的矩陣來處理
例如 queen = [0.1,0.5,0.2] king = [0.4,0.1,0.7] .....
那他神奇的地方在於 轉完的矩陣有關聯性
例如
queen - woman + man ~ king
I am starving ~ I am hungry (這個要額外做處理)
對不同文字間 可以再用NN做轉換就變成
I am starving ~ 我肚子餓了
不過這套目前還有一些問題還沒被解決
以上這四個例子其實都很常見
而且很難用非機器學習(可能不是NN)的方式得到更好的結果
簡單來說 機器學習在"無法簡單定義流程"的地方 通常可以獲得更好的成效
以上是我在這領域待3年左右的分享
不過我剛上班沒多久 看的可能比較狹隘
其他還請強者補充XD
--
Sent from my CASIO fx-991es .
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.227.49.28
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1485583424.A.573.html
1F:推 ian90911: 推 01/28 15:06
2F:推 zoko741235: 推 最近在嘗試弄推薦系統 01/28 15:07
3F:推 winken2004: 推 01/28 15:15
4F:推 dark104: 推,也想往這個方向走 01/28 15:54
5F:推 herbacin: 推 01/28 15:54
6F:推 drajan: 1的難度是如何在資料量大時做出來 不然只是gensim 01/28 16:10
7F:→ DrTech: 整篇只有seq2seq 那段比較偏深度學習吧,其他根本跟深度 01/28 16:16
8F:→ DrTech: 學習沒什麼關係。 01/28 16:16
9F:→ sunpedro0202: word2vec 應該也算啦,前面幾個就不4了 01/28 16:22
10F:推 DrTech: 台灣需要 NLP 的公司好少阿,還需要大家一起推廣 01/28 16:32
11F:→ sunpedro0202: 市場原罪呀,樓上大大不4要發文(擦眼睛 01/28 16:33
12F:推 DrTech: 現在放假,只有手機阿,打字不方便。等我有電腦時再來分 01/28 16:36
13F:→ DrTech: 享最近的市場狀況喔,感謝 01/28 16:36
14F:→ sunpedro0202: 期待! 01/28 16:52
15F:推 pttworld: 原文根本是不查資料上來發文偷學別人整理的,認真給推。 01/28 17:08
16F:推 NCUking: 台灣慣老闆:半年要做出像Siri的APP 01/28 17:27
17F:推 Telemio: 推 01/28 17:39
18F:推 gmoz: 原文深度釣魚 01/28 18:11
19F:推 vallwesture: 自己用過LDA+NLP來產生摘要,真的好用 01/28 18:14
20F:推 chen1025: 推 01/28 18:47
21F:推 popxpopxpop: 推,做過判例text mining,覺得有趣+1 01/28 18:49
22F:→ remmurds: 推 01/28 20:59
23F:推 hanshsu: 台灣做ai太難了 市場風向不愛 01/28 22:28
24F:→ death06: 在台灣老闆根本不愛 因為這東西很難馬上有成效 而且 01/28 22:53
25F:→ death06: 我之前聽一家做機器人客服的 程式判斷文字永遠卡在6-7成 01/28 22:54
26F:→ death06: 老闆也是做了 然後放在那邊=_=" 01/28 22:54
27F:推 ACEgolden: 深度學習=神經網路? 01/29 11:13
28F:推 chupiggy: 推 可惜現在台灣做NLP的還是不多 QQ 01/29 11:33
29F:推 nayd: Siri, Google Assistant這麼難用,大家還是覺得AI很厲害嗎 01/30 01:13
30F:推 popxpopxpop: 推樓上,不要把ai神話,但這領域很有趣 01/31 17:32
31F:推 x81236900: 你喂資料準確率要0.7up感覺真的有點難 02/19 01:57