※ 引述《cansas (cansas)》之铭言： : 其实是这样的 text mining 可以粗略简化为三个流程 : 1.特值值截取: 因为电脑读不懂语意　所以需要使用一些数学方法截取出相对重要的 : 词，做为该文件的索引字，例如使用　”马英九”　”慢跑”　这两个字 : 做为马英九慢跑这篇新闻的索引字。 : 2.建造分类器：分类器有很多种　可以选择ＳＶＭ　ＫＮＮ等　都有不同特性 : 3.Pattern Matching: 将需要分类的新文件　与过去使用Training data 所建制的的 : 分类器　做比对的动作　计算相似度　接着决定这分新文件属於哪 : 个类别 : 以上是三个连贯的流程　也就是说　其中一个环节有错　就会直接对结果产生影响 : 另外越前端的环节做不好　产生的影响越大　 : 其实我现在的问题是　我有一个benchmark 有相似的类别　也有非常独立的类别 : 相似的类别使用数学方法　计算权重　截取出来的字非常相似　经常重叠 : 这连带的影响到後端分类器的建置　分类器无法明显的区分出这两个类别 : 就搞得头好痛　那个benchmark 叫做　20newsgroup 有几个很难区分的类别分别是 : "atheism" ,"talk.religion.misc","religion.christian" 这几个类别截取出来的字 : 常常就是　"god","christian" ,"christ"　等　经常谈论到神　 : 不知道这样子有没有说明白...不好意思　麻烦了 有些东西我还是看不太懂，而且错字一堆 （例如 20newsgroup 是啥，里头的类别又是啥？） 你应该是卡在第一阶段，但是跟你後面的叙述又搭不起来 大概是我程度太差... 请不用理我，下面也当作我自言自语 如果选定一个特徵词库（或是所有的 term 都下海... [奸笑]） 那责任算在那个词库上... （反正也不可能自己建立一个公认有权威性的词库） 接下来找 TF-IDF 这类的计算方法，看看哪一个可以「迎合」效果 （理论上 TF-IDF 就能够降低「大多数文件都有某个词」的影响了 至少数学是这样子告诉我们...... ） 讲难听一点... 能作的也只有这几件事情... （吧？） 如果几个八竿子打不着的文章都有相同的特徵词 就好像不同类型的电影里头骂的脏话都一样 要拿脏话当特徵词.... 然後哀号没办法分类... 这...... 有错还请各方高手指正 我不是研究这个的，只是帮别人写论文实作，被迫得了解一些... （而且还是作分群，不是分类 XDXD） ==== 都说请勿来信了，那要求 talk 是怎样... 这年头的人都不管礼节，也不在乎别人的要求就是了... -- 侃侃长论鲜窒碍 首页：http://www.psmonkey.idv.tw 众目睽睽无心颤 Blog：http://ps-think.blogspot.com 茕居少聊常人事 杀头容易告白难 欢迎参观 Java 版（@ptt.cc） \囧/ --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 61.228.197.217