作者dennyptt ()
看板TOEFL_iBT
标题Re: [请益] writing ETS 是给真人改的吗？
时间Mon Oct 13 16:30:44 2008
※ 引述《brightroad (哈哈)》之铭言：
: http://www.ets.org/portal/site/ets/menuitem.1488512ecfd5b8849a77b13bc3921509/?
: vgnextoid=302433c7f00c5010VgnVCM10000022f95190RCRD&vgnextchannel=7196e3b5f64f4
: 010VgnVCM10000022f95190RCRD
: How are the sections of the General Test scored?
: Note: In the fourth quarter of 2008, the GRE Program expects to implement
: e-rater scoring technology in the scoring process for the computer-based GRE
: Analytical Writing section. E-rater is a computerized natural
: language-processing program developed by ETS. The scoring process described
: in the paper-based Analytical Writing section will be in effect for the
: scoring of both the computer-based and paper-based Analytical Writing section
: until e-rater is implemented.
: Analytic Scoring of TOEFL CBT Essays: Scores From Humans and E-rater
: www.ets.org/Media/Research/pdf/RR-08-01.pdf
我大致看完了这一篇paper.
ETS各项考试的作文(包括TOEFL,GRE,GMAT)都使用"e-rater"电脑软体评分,
这份报告明白指出"ETS没有使用人工阅卷".
然而这篇研究的重点是比较二种电脑阅卷模式的优劣: Holistic and Analytic.
ETS所使用的"e-rater"软体是采用後者.
针对TOEFL作文,"e-rater"有多达50项以上的评分指标,但主要可以分成12大项,
在第9页有说明. 我只列出单字的部份:
Lexical sophistication
Type/token ratio 特殊字(unique words)占全部字数的比例
Word length 字的平均长度
Vocabulary level 字的等级.
由此可知,所有的评分标准都是由电脑计算统计出来的, 就单字而言,
使用越多特殊的,稀有的单字, 以及很长的,难度高的单字,就可以拿到高分.
另外,像是文法错误次数,文章长度等,也都是评分标准.
e-rater还会对照范文(sample essays),比较考生文章和范文之间的差异性,
换句话说,越接近范文格式的文章,分数自然也就越高.
以上是大略内容. 有兴趣的人可以参考看看^^""
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 122.120.214.178
1F：推 max2:推! 10/13 16:47
2F：推 AdamHmc:推一个 10/13 17:09
3F：→ shaichi:不完全对.去ETS正式的付费模考.实测可知.E-rater有障碍.. 10/13 17:21
4F：→ shaichi:单放模板+高字数，就可以在相同的E-rater拿30.. 10/13 17:22
5F：→ shaichi:但实际考试就没这麽爽了.当模版+万用理由的写作非常上手. 10/13 17:23
6F：→ shaichi:代表两个的评分标准大同小异，但难易度有别。差别在哪? 10/13 17:24
7F：→ shaichi:逻辑连惯,这一点 缺少人工智慧的e-rater作不到.还是要靠真 10/13 17:25
8F：→ shaichi:人..因为逻辑架构可以用 转折字骗e-rater,所以内文可以虎 10/13 17:26
9F：→ shaichi:烂..实际考会发现.太扯的逻辑会自爆.XD 10/13 17:26
10F：推 cyclefever:所以比较可能的还是电脑挑文法单字错误(第1改),人工看 10/13 17:31
11F：→ cyclefever:你的内容好不好(第二改)吗? 10/13 17:31
12F：推 cosmmo:我也觉得需要人工批阅内文吧 不然文法+单字全精准使用 结果 10/13 18:35
13F：→ cosmmo:全文离题这样也能拿高分吗... 10/13 18:35
14F：推 Savory:GMAT 是 ETS的考试吗? 10/13 18:43
15F：推 mauricew:以前是 现在是GMAC 10/13 19:38