作者tomin (stuffy)
站内Statistics
标题[问题] 多位评分者的评分者信度
时间Sun Oct 11 20:52:04 2009
大於2位评分者（也就是有3,4,5,6,7,8,9, ....以上的评分者），
皆对同一份资料评分的情况，
国内似乎常采用Holsti's method加强版
国内一些统计书上提供Holsti's method多人版的算法
不过我看英文的书或paper 只看到2人版的 好像只有国内用多人加强版
我个人是有点怀疑加强版的公式啦
我算过 加强版的平均相互同意值 就算只是0.3~0.4偏低的数值
只要人数多一些 (7~8人以上) 信度仍然能超过0.8
多人版有什麽跑法吗？
我是有查到Krippendorff's alpha，不过要另外用巨集等公式下去代，很麻烦且复杂。
刚查到Cohen Kappa也有多人版 没试过
http://cosmion.net/jeroen/software/kappa/
http://justus.randolph.name/kappa
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.122.30.140
※ 编辑: tomin 来自: 140.122.30.140 (10/11 21:08)
1F：推 clayclc:如果用肯德尔和谐系数呢? 10/11 22:20
2F：→ tomin:好点子^^ 之前不知道有这东西 10/12 00:55
3F：推 miller0323:你可以去找找multiple rater's kappa 但文献好像不多 10/12 12:13
4F：→ miller0323:好像有一个公式可以用..但是使用macro来写的... 10/12 12:18
5F：推 chien533:2005年就有人在SUGI30发表过相关的SAS macro了 10/13 03:26