作者lion741205 (獅子)
看板Soft_Job
標題Re: [討論] AI還能夠紅幾年? 以聊天機器人領域來說明
時間Mon Dec 9 22:38:37 2019
※ 引述《wang19980531 (中立評論員)》之銘言:
: 雖然現在實驗室接到很多公司計畫還是和機器學習相關,
: 但其實很多教授都覺得AI在走下去也過不了幾年,
: 技術方面已臻成熟,玩不出什麼把戲了。
: 不知道業界怎麼看呢?
: 未來的發展是量子計算機嗎?
雖然CV透過DL取得了重大進展,但在NLP領域,AI仍然處於發展初期,技術談不上成熟,
以敝人負責的Chatbot領域來說,有個可以參考的例子,自從圖靈測試在2014年被聊天機
器人Eugene通過後,加拿大學者改進測試的缺失提出了威諾格拉德架構挑戰賽(Winograd
Schema Challenge),也是目前最具權威的AI競賽。
該競賽的第一輪是代詞消歧問題(Pronoun disambiguation problems)。舉例來說,當人
類分析句子時,會用經驗來理解指代的對象:
一、市議會拒絕示威者,因為他們害怕暴力。
二、市議會拒絕示威者,因為他們提倡暴力。
而這個選擇題只有兩個答案,代詞"他們"是指"市議會"還是"示威者",AI應該要指出在第
一句說的是市議會,第二句說的是示威者,從問題上可以發現,系統無法透過這段話的上
下文進行理解得到答案,這在實作上必須透過知識圖譜(Knowledge Graph)進行推理,要
通過比賽拿到獎金25,000鎂,準確率(Accuracy)必須達到90%以上,但目前最好的成績只
有58%,遠比人類低得多。
除了上述根本影響Chatbot問答品質的問題,還有幾個難題仍未被突破:
1.通用的模型架構(Universal Model Architecture):為了整合語音辨識、詞法分析、句
法分析、語意分析、深度學習,答案搜尋,對話管理、自然語言生成和語音合成等模組,
確保其相容性,當前Chatbot架構與模型相當複雜,管理較為困難,如何研發通用的架構
與模型,是未來所有同業的發展目標。
2.情感計算(Affective Computing):從分析文本的情感(Sentiment Analysis)到辨
識人類情緒的情感計算,例如開心、生氣、哀傷等;可以讓Chatbot與人交互時更有溫度
,是目前產學界熱門研究方向。
3.開放領域(Open Domain):現在的Chatbot只能做好特定領域的工作,如何建構開放領域
的知識,甚至不需要人工建構知識,讓機器自學習,也是產學界正在努力的方向。
4.端對端(End to end):不經過傳統的模組串聯,利用深度學習(Deep Learning
)建立端對端的簡潔模型;達到輸入原始資料後,可直接得到想要的輸出結果,但與此
同時還要支援多輪對話管理、上下文情境及知識圖譜推理,避免安全回答,甚至是保持
Chatbot個性的一致性,正確的進行指代消解,這些挑戰都是產學界近期的目標。
5.基於生成的模型(Generative Model):目前自然語言生成技術 ,可分為基於檢索、基
於範本及基於生成兩種方法,三者都可以導入深度學習技術,目前以基於檢索及基於範本
為業界主流;雖然深度學習Seq2seq模型非常適合產生文字,但此基於生成方法尚處早期
的發展階段,空間和時間複雜度高,實際應用效果不佳。
以上問題,可見AI還有很長的一段路要走;但不管準確率有多高,以商用Chatbot來說,
只要能節省足夠的客服成本,就能讓許多企業為高價的AI人才買單。以上是個人在業界
工作得到的經驗,分享給各位同業;這個領域還有一堆做不完的工作,也鼓勵研究生們
好好學習入坑。
文章被JPPT App吃掉了... 整理中
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.225.46 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1575902319.A.1E0.html
→ followwar: NLP不是被BERT模型統治了嗎... 12/09 23:15
智能客服VCA和助理VPA為了調控,敝司都還是以基於規則和基於統計方法為主,
深度學習為輔的;而且BERT預訓練理解和生成所需特徵不一致,不適合用於自然語言生成
→ followwar: BERT是pretrained by unsupervised mask autoencoding 12/09 23:49
→ followwar: 要用在其他作業勢必要finetune 該怎麼理解"不一致"之說 12/09 23:50
可以看一下這篇
https://zhuanlan.zhihu.com/p/70663422
推 sxy67230: Bert的問題比較像是當前純原始語料資料本身就很精確, 12/10 00:17
→ sxy67230: 質量高的情況下再做大規模訓練,但是我認為好的訓練應 12/10 00:17
→ sxy67230: 該是要建立在資料源規模不複雜的情況下,像是XLNET或是A 12/10 00:17
→ sxy67230: LBERT 就是很好的嘗試,回歸語言建模的問題。 12/10 00:17
推 GGFACE: 沒錯 12/10 00:35
1F:推 sxy67230: 我打錯字了 AR LM 跟AE LM12/10 00:46
2F:推 sxy67230: 然後人類視為智慧的聊天建立是更複雜的多重任務,包含12/10 00:51
3F:→ sxy67230: 生成、理解、先驗知識的推理跟後驗知識的檢索、記憶、12/10 00:51
4F:→ sxy67230: 組合、情感,還有文化脈絡的符號。12/10 00:51
感謝分享想法
5F:→ longlongint: 個人覺得 文法上是往前找最近的名詞 只能是示威者12/10 11:23
6F:→ longlongint: 所以 一那個句子根據知識會覺得WT.....12/10 11:26
7F:推 followwar: 我理解了你的concern 那我說"Transformer"架構統治NLP12/10 13:16
8F:→ followwar: 也許更精準一點 我比較想說Architecture而不是TASK12/10 13:18
9F:→ followwar: 如同ResNet"架構"在CV領域的影響力12/10 13:18
可以同意你的說法,現在Transformer架構在NLP研究是主流,而且廣泛應用於NLP的各種任務
10F:推 w0005151: 這ID有印象是個高手, 在業界混過看到的果然會不太一樣12/10 18:58
謝謝 工作需要 也希望跟大家多交流
11F:推 iaminanl: 你舉的這兩句,我覺不同情境、不同人可能有不同答案12/10 19:19
這是Winograd模式的第一個引用的例子 但上下文情境不同 的確會影響答案
12F:推 leoloveivy: 花錢用azure 12/10 20:15
※ 編輯: lion741205 (49.214.225.46 臺灣), 12/10/2019 20:29:44
13F:推 genius945: 推 感謝分享 12/10 23:50
14F:推 ILYY: 推 12/11 01:13
15F:→ DrTech: 這篇討論沒很專業吧,論文也沒看幾篇的人,chatbot通常是 12/11 22:12
16F:→ DrTech: 開放領域的"閒聊",才會用chatbot 這名詞。 12/11 22:12
17F:→ DrTech: chatbot通常跟task-oriented的客服完全不同研究或實務產品 12/11 22:14
18F:→ DrTech: 路線。這篇卻把chatbot 與客服扯在一起… 12/11 22:14
敝司把閒聊模組命名為Chatting Bot;你說Chatbot就代表閒聊,我並不認同,
可以參考一下英文維基百科的定義
https://en.wikipedia.org/wiki/Chatbot,
或中文IThome的介紹
https://www.ithome.com.tw/news/113445,事實上Chatbot一詞
應包含開放領域的"閒聊系統"、特定領域的"問答系統"及"Task-oriented對話系統";
附帶一提,即使是客服/商用VCA,大部分也都有Chit-chat系統模組,實務上密不可分,
只是不同產品著重的部分不同
19F:→ DrTech: 至於NLP被BERT統治?出社會工作了嗎?還是在沒業務的小公 12/11 22:17
20F:→ DrTech: 司? 真正流量大,即時性高的應用怎麼上得了BERT 12/11 22:17
21F:→ DrTech: 模型壓縮,或知識蒸餾搞 下去,也不是叫BERT阿 12/11 22:18
22F:→ DrTech: 另外,先不說計算時間問題,BERT真沒想像中神奇,BERT以及 12/11 22:22
23F:→ DrTech: 相關預訓練模型出現,學術論文多,實務上真的幫助不大,一 12/11 22:22
24F:→ DrTech: 堆問題還是沒有好方法。 12/11 22:22
的確 BERT有你上述說的問題 所以基於規則或基與統計的NLP檢索和生成方法
才是目前商用VCA的主流 但包含VCA及VPA等Chatbot應用 未來的研究與應用發展方向
無庸置疑是BERT等Transformer架構
25F:推 sxy67230: open domain chatbot確實是跟任務導向的客服是不太一樣 12/11 23:22
Chatbot不一定是Open Domain,可以參考我寫的這篇《Chatbot的類型與對比》
http://www.lionethan.com/2020/01/chatbot%E7%9A%84%E9%A1%9E%E5%9E%8B
26F:→ sxy67230: 的東西。不過Bert不代表無法應用到高流量上。即時性取決 12/11 23:22
27F:→ sxy67230: 於你想應用的場域,不過就算是rule based 也很難做到ope 12/11 23:22
28F:→ sxy67230: n domain ,目前普通商用客服的應用頂多就是過去值機系 12/11 23:22
29F:→ sxy67230: 統的2.0版而已,商業上就是一堆人工建立問答檢索,搭配 12/11 23:22
30F:→ sxy67230: 分類跟抽取,最多加上知識圖譜、情感分析。當然上述都是 12/11 23:22
31F:→ sxy67230: 普通公司的應用。 12/11 23:22
32F:→ sxy67230: 然後這邊確實很難有精彩的辯論,還是要去Reddit才比較 12/11 23:23
33F:→ sxy67230: 有可能 12/11 23:23
34F:推 jimmy55311: 推專業深度文 感謝大神分享經驗 這篇主要是講NLP未來 12/12 00:31
35F:→ jimmy55311: 的方向吧 後續討論有點離題了 12/12 00:31
這篇主要是分享AI/Chatbot目前的難題 讓大家知道現有技術還不夠成熟
36F:推 friends29: 好文推 12/15 03:28
謝謝 可能很多人對這個領域不熟悉 希望能帶給大家正確的觀念
※ 編輯: lion741205 (1.164.176.235 臺灣), 10/03/2020 15:42:45