作者ddavid (谎言接线生)
看板DataScience
标题Re: [心得] A/B Testing 常见的「偷看结果」问题
时间Wed Sep 16 18:36:12 2020
: 推 bearching: 请问一下 如果用蒙提霍尔问题的观点来看这个问题,偷看 09/15 16:24
: → bearching: 结果再做决策,我想也许比较容易提高成功机率吧 09/15 16:24
: → bearching: ? 如果把偷看当作主持人开门看到山羊的话,也许可以多 09/15 16:25
: → bearching: 做些讨论? 09/15 16:25
注意原文的概念是「偷看导致你原本可以做对决策的机率降低了」。
我就用你所说的三门问题来解释。原本的三门问题之所以换了很棒,是因为主持
人保证100%开出一扇错误的门。那麽以原文中偷看的概念,我们改变一下主持人的行
为:
主持人不会打开门,而是指着某一扇你没有选择的门,然後跟你说「如果你选对
了,那这扇门当然就是错的。但如果你选错了,那麽这扇门有70%机率是另一扇错的
门。」
假设是a b c三扇门,你选的是a。>表示主持人指给你看的门。有以下可能性:
a b c
1 >0 0
1 0 >0 1/3 * 100%
0 1 >0 1/3 * 70%
0 >1 0 1/3 * 30%
0 >0 1 1/3 * 70%
0 0 >1 1/3 * 30%
结果,换的胜率是1/3(70% + 70%) = 0.467。
是的,这还是比你原本选中机率的1/3好,可是如果你不偷看而是乖乖等主持人
愿意用100%机率指出错的门时,你就能得到2/3的更好机率。也就是因为这个不耐烦
,你损失了约20%的成功率。
也就是说,你偷看的结果如果还有一定的正确性,确实它还是可能(请注意只是
可能,不是所有问题型态都跟三门问题一样)帮助你比你没做这个实验前更正确的决
策,但是还是会比乖乖做完实验才看差。
补充一下:你可以很容易发现在上面的计算中,如果你偷看得太早,主持人只愿
意用50%机率指门,那你就会得到跟原本一样的1/3机率。
如果你还更早偷看,导致主持人指出非正确门的机率降到50%以下,则你换门反
而会得到1/3以下的成功率。在未知主持人指门的机率下,换门策略的正确率上限是
2/3,下限却可以低到0。
因此,过早地偷看有时不只是「让实验对你的帮助变小」而已,有时更会导致「
让实验变成反效果」。这时就需要估算你的实验在各种资料量之信心水准来「帮助你
下决定『要累积多少资料量才开箱来帮助你下决定』」了XD
--
「去质疑亲眼所见的事是最愚昧的行为。这又分为两种--质疑自己所见是不是
真的,或是用见到的事去质疑没见到的事。呵。」
--芙莉雅,谎言事务所实现使者
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.32.17.60 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1600252576.A.534.html
1F:推 ce270651: 推 09/17 12:32
※ 编辑: ddavid (114.32.17.60 台湾), 09/17/2020 15:30:09
2F:推 bearching: 太感谢你的说明了! 09/18 09:49
3F:推 AgileSeptor: 推 09/18 22:00