作者waterfat520 ( )
看板Statistics
标题[问题] 假设检定如何比较二方法优劣?
时间Tue Jul 8 09:42:43 2008
以下为一个资料集 用二个不同的方法做出数据结果
可以看的出来方法B比方法A准(因为方法B比较接近实际值)
我知道已经有许多比较的Criteria(准则)可比较二个方法的好坏(例如:平均平方误差
最小) 但是我想要知道到底方法B是否显着比方法A好
我试着用假设检定 但是碰到一些问题 接下来说明我的做法麻烦各位帮我看有没有错
NO# 实际值 方法A预估值 方法B预估值
1 15 24.1499 19.8323
2 44 47.5329 41.1454
3 66 70.1734 63.3404
4 103 92.0949 85.9259
5 105 113.3204 108.5077
6 110 133.8719 130.7775
7 146 153.7708 152.5003
8 175 173.0379 173.5028
9 179 191.6931 193.6628
10 206 209.7560 212.8992
11 233 227.2452 231.1637
12 255 244.1792 248.4343
13 276 260.5754 264.7088
14 298 276.4510 280.0001
15 304 291.8224 294.3327
16 311 306.7058 307.7388
17 320 321.1165 320.2564
18 325 335.0697 331.9271
19 328 348.5798 342.7944
首先分别 把方法A-实际值 与 方法B-实际值 得到二组误差的samples叫errorA与errorB
然後对这二组误差samples做two populations' mean comparison
他们的平均值叫meanA与meanB
H0: meanA-meanB=0
H1: meanA-meanB>0
最後用matched pairs的t检定 但是问题来了
上面二组误差errorA与errorB 并不一定是正的 因为方法可能高估或低估(例如#3那
笔)
所以用meanA或meanB也有可能是正或负 所以误差的sample就变成愈靠近0代表方法愈好
这样上面的H0与H1好像就不对了
我这样的做法有错吗? 取误差看成二个新的samples做假设检定是否有错?
是否应该取errorA与errorB绝对值?再做同样的假设检定才对?
如果取了绝对值会变成原本的负误差变成正的 这样好像error就不会是normal分布
用t检定似乎又不成立?还是我多虑了 可大概看成normal分布就好?
上面用matched pairs的方式是否正确?不知道同一笔不同的预估值这样可当成pair吗?
不好意思这麽多问题,上课教的用到实做上,果然有落差@@
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 220.130.51.172
1F:推 artingo:用两组估计值,分别对实际值,作回归分析,比较两个R^2值 07/08 10:02
2F:→ waterfat520:我知道有许多现成R2或MSE等可比较二方法的优劣 但我想 07/08 10:37
3F:→ waterfat520:知道显不显着 若用R2二者都0.99多 怎麽确定方法B比A好 07/08 10:39
4F:推 hitman:可以用D-M检定吗 07/11 00:38