※ 引述《cansas (cansas)》之銘言： : 其實是這樣的 text mining 可以粗略簡化為三個流程 : 1.特值值截取: 因為電腦讀不懂語意　所以需要使用一些數學方法截取出相對重要的 : 詞，做為該文件的索引字，例如使用　”馬英九”　”慢跑”　這兩個字 : 做為馬英九慢跑這篇新聞的索引字。 : 2.建造分類器：分類器有很多種　可以選擇ＳＶＭ　ＫＮＮ等　都有不同特性 : 3.Pattern Matching: 將需要分類的新文件　與過去使用Training data 所建製的的 : 分類器　做比對的動作　計算相似度　接著決定這分新文件屬於哪 : 個類別 : 以上是三個連貫的流程　也就是說　其中一個環節有錯　就會直接對結果產生影響 : 另外越前端的環節做不好　產生的影響越大　 : 其實我現在的問題是　我有一個benchmark 有相似的類別　也有非常獨立的類別 : 相似的類別使用數學方法　計算權重　截取出來的字非常相似　經常重疊 : 這連帶的影響到後端分類器的建置　分類器無法明顯的區分出這兩個類別 : 就搞得頭好痛　那個benchmark 叫做　20newsgroup 有幾個很難區分的類別分別是 : "atheism" ,"talk.religion.misc","religion.christian" 這幾個類別截取出來的字 : 常常就是　"god","christian" ,"christ"　等　經常談論到神　 : 不知道這樣子有沒有說明白...不好意思　麻煩了 有些東西我還是看不太懂，而且錯字一堆 （例如 20newsgroup 是啥，裡頭的類別又是啥？） 你應該是卡在第一階段，但是跟你後面的敘述又搭不起來 大概是我程度太差... 請不用理我，下面也當作我自言自語 如果選定一個特徵詞庫（或是所有的 term 都下海... [奸笑]） 那責任算在那個詞庫上... （反正也不可能自己建立一個公認有權威性的詞庫） 接下來找 TF-IDF 這類的計算方法，看看哪一個可以「迎合」效果 （理論上 TF-IDF 就能夠降低「大多數文件都有某個詞」的影響了 至少數學是這樣子告訴我們...... ） 講難聽一點... 能作的也只有這幾件事情... （吧？） 如果幾個八竿子打不著的文章都有相同的特徵詞 就好像不同類型的電影裡頭罵的髒話都一樣 要拿髒話當特徵詞.... 然後哀號沒辦法分類... 這...... 有錯還請各方高手指正 我不是研究這個的，只是幫別人寫論文實作，被迫得了解一些... （而且還是作分群，不是分類 XDXD） ==== 都說請勿來信了，那要求 talk 是怎樣... 這年頭的人都不管禮節，也不在乎別人的要求就是了... -- 侃侃長論鮮窒礙 首頁：http://www.psmonkey.idv.tw 眾目睽睽無心顫 Blog：http://ps-think.blogspot.com 煢居少聊常人事 殺頭容易告白難 歡迎參觀 Java 版（@ptt.cc） \囧/ --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 61.228.197.217