※ 引述《sandwichC (没回应=挂站)》之铭言： : 标题: Re: [请益] 有没有一样是研究text mining的同好呢 : 时间: Fri Feb 20 00:26:03 2009 : : 20newsgroup的资料算是相当容易判别的资料了 : 用十年前的 Naive Bayesian Text Classifiation : (http://www.cs.cmu.edu/~knigam/papers/multinomial-aaaiws98.pdf ) : : 当training 和 testing data set 各占50%时，就可以达到平均85%以上的正确率 : 就算是你说的比较难分的 religious.misc 也有 60% 以上的正确率 : 如果你再用一些 feature selection 的技巧，平均正确率达到95%以上没问题 : : Dr. McCallum 的 Bow (http://www.cs.cmu.edu/~mccallum/bow/ ) : 可以完全做到你要做的事 : 该网页也是用20newsgroup做例子 : 连feature selection都帮你准备妥当了 : : : : 其实是这样的 text mining 可以粗略简化为三个流程 : : 1.特值撷取: 因为电脑读不懂语意　所以需要使用一些数学方法撷取出相对重要的 : : 词，做为该文件的索引字，例如使用　”马英九”　”慢跑”　这两个字 : : 做为马英九慢跑这篇新闻的索引字。 : : 2.建造分类器：分类器有很多种　可以选择ＳＶＭ　ＫＮＮ等　都有不同特性 : : 3.Pattern Matching: 将需要分类的新文件　与过去使用Training data 所建制的 : : 分类器　做比对的动作　计算相似度　接着决定这分新文件属於哪 : : 个类别 : : 以上是三个连贯的流程　也就是说　其中一个环节有错　就会直接对结果产生影响 : : 另外越前端的环节做不好　产生的影响越大　 : : 其实我现在的问题是　我有一个benchmark 有相似的类别　也有非常独立的类别 : : 使用这个benchmark 来测试分类器的准度 使用一定比例进行Training 和 Testing : : 相似的类别使用数学方法　计算权重　撷取出来的字非常相似　经常重叠 : : 这连带的影响到後端分类器的建置　分类器无法明显的区分出这两个类别 : : 就搞得头好痛　那个benchmark 叫做　20newsgroup 有几个很难区分的类别分别是 : : "atheism" ,"talk.religion.misc","religion.christian" 这几个类别截取出来的字 : : 常常就是　"god","christian" ,"christ"　等　经常谈论到神　如果使用关连法则作为分 : : 类器 就很容易产生 {god,christian}->talk.religion.misc 和 {god,christian}-> : : religion.christian 这种容易混淆的规则 因为分类器就是依照这些撷取出来字 : : 搭配所使用的分类器 所产生的pattern 进行分类 : : 不知道这样子有没有说明白...不好意思　麻烦了 : : -- : My blog: http://sandwichc-life.blogspot.com/ : : -- :

※ 发信站: 批踢踢实业坊(ptt.cc) : ◆ From: 146.186.229.10 您给我的资讯非常宝贵 我是在研究一些特徵值截取的方法 例如 Tf-idf ,Mutual Information 等 这些方法的共同点是 相似的类别截取出来的特徵值会很像 但因为我正在研究 一些新的特徵值截取方式 所以 BOW 这个工具里面已经有的方法 可能帮助有限 不过您提的贝式分类器 倒是给了我不少灵感 因为我一直怀疑自己的研究 准度一直上升不起来的原因 可能是建制分类器的方法太阳春了 才会有这个问题 所以近几天 稍微研究了一下贝式分类器的特色 非常感谢您的资讯 --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 125.230.76.227