作者fuzuki ()
看板Wikipedia
标题文章关键字
时间Thu Dec 20 02:31:51 2007
上文说到内部连结,
换个标题讲题外话,来个跟
文章重点相关的议题。
相信板上有许多玩过资料探勘的前辈,请让我抛块砖,不要批太凶。
资料检索最基础的运作是字频计算,
以[[王菲]]条目取出部分内文做分析,
利用字词频率*反文件频率(TF*IDF),
扣掉杂讯修正之後,
加权值前十名为
词汇 出现次数 加权值
王菲 99 0.315286624203822 ←非常突出,高达0.3 远高过其他的数值
专辑 52 0.165605095541401
香港 38 0.121019108280255
音乐 36 0.114649681528662
翻唱 30 0.0955414012738854
歌曲 28 0.089171974522293
大碟 24 0.0764331210191083
自己 22 0.0700636942675159
推出 22 0.0700636942675159
歌手 22 0.0700636942675159
其余值大於0.05的辞汇
演唱会 21 0.0668789808917197
粤语 20 0.0636942675159236
歌 19 0.0605095541401274
唱片 19 0.0605095541401274
风格 17 0.054140127388535
演唱 17 0.054140127388535
年 16 0.0509554140127389
第一 16 0.0509554140127389
可以由程式粗浅的获知该文要传达的关键字。
再玩一个例子,这次将[[客家人]]条目中的"客家精神"段落取出代入公式计算,
一样去掉杂讯,获得下列结果
词汇 出现次数 加权值
客家 13 0.125 →非常突出
家族 7 0.0673076923076923 →文章中不断的提到家族和家
家 6 0.0576923076923077
教育 5 0.0480769230769231
客家人 5 0.0480769230769231
突出 4 0.0384615384615385
精神 4 0.0384615384615385
族 3 0.0288461538461538
更加 3 0.0288461538461538
宗族 3 0.0288461538461538
这种由资料库当中萃取有意义的资料片段的技术,
能够筛选资料,协助人脑更轻松的获取知识,实在相当有意思。
--
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 122.124.15.221
※ 编辑: fuzuki 来自: 122.124.15.221 (12/20 02:32)
1F:推 whitedevil:这一刻,忽然很希望字词频率、反文件频率、杂讯修正这 12/20 03:35
2F:→ whitedevil:几个辞汇是可以点的蓝色... >"<a 12/20 03:36
3F:推 kakoui:大推楼上 12/20 03:40