作者Epsilon (我是EPS)
看板Sabermetrics
标题Re: [问题] 如何检验PECOTA?
时间Sat Apr 1 11:19:33 2006
※ 引述《tradewind (No Day but Today)》之铭言:
: 所以?20年前看重打击率并不表示当时就没有选球很好的球员,
我并没这麽说喔.
我要说的是, 因为各时代看重的特质不同
本质上相同的打者, 或者N岁前表现相似的打者,
在N岁後, 在不同时代背景下可能会展现出不同的发展.
这是"可能"而已, 这并不是确定的, 而我认为这需要被检验.
: 只是以前没有得到应有的评价罢了。
: 况且如果20年前的球员真的和现在的球员不同,
: 那PECOTA在做比较时,当然就不会说这两批球员是近似的。
是的. 但这不构成PECOTA的显性问题, 因为可能会找到另一批相似的球员来被比对.
譬如, 假设我们有两套历史, (譬如一套重视选球, 另一套重视打击率,)
某球员在第一套历史中被认为与A群球员类似.
把他放到第二套历史, 他可能不再与A群球员类似, 但可能会找到B群球员与他类似.
这两套历史的PECOTA预测, 哪个最可能近似於该球员真实的发展?
举个实际的历子, 譬如某25岁球员生涯展现出稳定的选球能力,
IsoP正随年龄成长而上升,
具有这样的生涯曲线的球员在重视打击率的年代与重视选球的年代应该都有,
可能只是数量多寡之差而已.
现在PECOTA要预测他在25岁之後的发展,
在众多具有类似生涯曲线的球员中, PECOTA该选择打击率年代的球员?
还是该选择选球年代的球员? 这些球员固然都有同样的生涯曲线,
但因不同年代对不同表现的重视度不同,
这些表面上类似球员是否具有某些不同的隐性特质是没有显示在数据上,
但会影响其未来的?
在PECOTA架构下, 我认为这问题应该要被回答.
: 同样的,如果球员的career path真的随年代不同而改变,
: 那PECOTA也不会说这些球员是近似的。
: PECOTA的预测可以被挑战,但我不认为是肇因於你所举的这两类情形。
我是就我所能想到的范围内举例而已, 我并没说一定是或不是.
但另一方面, 我认为PECOTA应该有办法具体展现我说的两个因素是否存在才对.
不论答案是正面还是反面, 总该要有个答案. 譬如, 如果您认为不是,
是否有数据佐证?
另一方面, 我也想请较一下您认为PECOTA可以被挑战的原因为何.
我相信这架构之下还会有其它盲点是我没看到的.
: : 更有甚者, 就算我们相信棒球的面貌数十年间并没改变, PECOTA是否真
: : 的挑中了关键数据? 举个离谱的例子, 要是某系统用BABIP来预测投手能力,
: : 这应该会被很多人笑吧, 因为BABIP并不是一个反映投手能力的好指标.
: 这些是 PECOTA 比较的项目:
: http://baseballprospectus.com/glossary/index.php?mode=viewstat&stat=38
我知道PECOTA比较的是这些, 而我的问题是这些比较项目是否为充份且必要.
我完全同意这些比较项目是有意义的, 但它们是否完备?
这些数据的内在意义是否会随棒球发展的背景而有所不同?
这是我想知道的.
: 就我看 BPro 的文章,PECOTA 是每年都有变得更聪明的,
: 可以注意到更多的细节。至於这是设计者所做的改变,
: 或是系统多了一年资料後发生的改变,我就不知道了。
我完全可以接受目前的PECOTA并不完备, 毕竟这东西的历史还不长.
所以每年除了资料的增加以外, 在方法论上有所改进也是合理的.
而我的疑问就是, 发展到目前这阶段的PECOTA, 可靠度到底为何?
一个检验方式当然是, PECOTA做出预测後, 等一年, 然後把所有
选手的实际表现综合起来, 与PECOTA做的机率分布预测相比,
看看实际表现的分布是否符合PECOTA预期, 这当然包括mean/median是否
偏离, 选手实际表现在mean/median以上以下的分布区间, 是否符合
PECOTA给出的误差区间.
另一种检验方式更全面, 不需要等一年, 而且可以是PECOTA的内部检验.
那就是直接引用PECOTA的资料库, 以年为单位, 直接把某年以後所有
选手的资料盖起来, 让PECOTA以该年之前的资料做预测, 然後把预测
结果与被盖起来的资料比对. 这样做的好处是, 不必等一年或多年,
就可以直接检验目前的PECOTA系统的预测准确度, 而且多盖几年的话,
就可以检验PECOTA的长期预测是否准确. 另一方面, 这还可以将不同
年代背景的选手区隔开来, 可以检验我上面所说的时代背景是否会影
响选手的发展走向等等.....
不知道PECOTA的发展过程中, 是否做过这类的检验. 我记得上个月BP
有篇文章拿年轻投手为样本, 看看他们的实际表现是否符合PECOTA预
测, 把这种测试的规模扩大, 应该就可以检验整个PECOTA的完备性吧?
--
孩子, 看到那苍蓝的小点了吗?
那是我们的家......
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 128.171.163.167
※ 编辑: Epsilon 来自: 128.171.163.167 (04/01 11:22)