作者yamiyodare (shantotto)
看板GO
标题Re: [爆卦] AlphaGo发现自己79步失误
时间Sun Mar 13 19:53:04 2016
※ 引述《tlchen (台湾加油)》之铭言：
: 从这两个 twitter 来看， AI 在 79 时仍认为自己有 79% 的胜率，
: 直到第 87 手时，才发现胜率骤降。四日棋迷猜测如下：
: AI 估计胜率是经由之後的模拟，白 78 手被认为神手，但或许是之後
: 的巧妙变化是不明显的，所以 AI 无法知道这手有这麽大的功用，或
: 是说，无法准确的评估此时的盘面。
value network 是给一个盘面 (361 个输入黑/白/空) 直接告诉你胜率.
基本上盘面几乎不会重复, 所以每一个盘面都是 AlphaGo 或人没看过的.
如果是人, 中盘之後可能会开始点空估计目数.
而估错最可能发生在以为的活棋其实是死棋, 比如说进行中的攻杀.
value network 是喂给它千万盘面, 然後跟它说最後是赢是输训练出来.
遇到新的盘面, value network 根据之前的经验 (神经连结权重) 吐出结果.
如果单纯喂 "361 个输入黑/白/空" 进去训练一定完蛋,
因为这样变成单纯的形态学, 长得像某个样子就以为会输或会赢.
围棋很多时候差一路就差很多 (好手的旁边常是恶手)
所以还会加入 "剩下的气数" "提子数" "手顺" "征子" 等等资讯进去训练.
如果人类认为 79 手的盘势黑棋大劣了, 那麽 79 手的盘面 value network
就应该吐胜率陡降的值出来, 而不是等到 87 手的盘面才反应.
如果 AlphaGo 知道 79 手 (甚至更早) 的盘面劣势, 前几手就会避免走上这个局面.
但到 87 手才知道劣势, 这时候已经走上不归路.
AlphaGo 团队回去一定是在研究这种盘面为什麽会估错, 以及要如何调整训练方式.
: 这提供了要对付目前这版 AlphaGo 的方法，你最好下一些方法是：接
: 下来对你的最佳解跟次佳解，结果会差很多，这样 AI 用模拟的，就有
: 机会误判。如果你下的棋，接下来的应对，结果都差不了太多，那 AI
: 自然估得准。让它估不准，才会在接下来还没估准前，继续出错。
这真的要拼 AlphaGo 形势判断错误.
但是我们不知道甚麽样的盘面可以让 AlphaGo 形势判断错误, 劣势误以为优势.
也许是大规模攻杀, 然後又走进特定的棋型 (像小李今天那一手) 让它误判.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.231.113.64
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/GO/M.1457869987.A.DFB.html
1F：→ allenmusic: 我也这样认为 这麽晚才估出来 已经有很大的问题 03/13 19:55
2F：→ allenmusic: 後面alphago还演变成一堆自杀下法 03/13 19:57
3F：推 Maybetrue: 期待Google公开AlphaGo秀斗的关键原因。 03/13 19:58
4F：→ allenmusic: google乾脆大方公开程式码 让全世界写程式的去bug不是 03/13 19:58
5F：→ allenmusic: 更快??? 03/13 19:59
6F：推 MaseratiGTS: 这样google还要混吗 03/13 19:59
7F：推 aegis43210: 所以79~87的自杀打法是他认为胜率7X%时下出来的？ 03/13 19:59
8F：推 signm: 所以alphago应该只能预估是当下而不是後面局势 03/13 19:59
9F：→ yamiyodare: 它会预估後面, 但若估错得太早已经来不及救了. 03/13 20:00
10F：推 signm: 那应该说alphago目前还没有大局观 03/13 20:03
11F：→ yamiyodare: 它有大局观 而且很强喔 只是跟人一样不是完全正确 03/13 20:04
12F：→ allenmusic: 我认为alphago自我锻链几百万 几千万盘 应该多少会下 03/13 20:05
13F：推 DemonElf: 不是Alphago只能估当下局势，而是他并没有完全算完(正是 03/13 20:05
14F：推 blackwindy: 阿法狗就刚好没算到那步 不是没有大局观 03/13 20:05
15F：→ allenmusic: 出这种自杀 自爆的棋路 但google公司应该没花时间去 03/13 20:06
16F：→ blackwindy: 没有大局观还能屌打李喔? 怎麽可能 03/13 20:06
17F：→ DemonElf: 因为现今电脑还没办法完全计算完所以才会只有Alphago能 03/13 20:06
18F：→ allenmusic: 检验每一个棋盘结果 03/13 20:06
19F：→ blackwindy: 那演算法就是有随机性 就随机的刚好没算到关键的那步 03/13 20:06
20F：→ DemonElf: 有能力打败职业棋手)，Alphago的类神经演算法是模拟人类 03/13 20:06
21F：→ yamiyodare: 它有算到... 但是劣势误以为优势所以还是往那边下 03/13 20:07
22F：→ allenmusic: 还好 李世石再这五盘 帮google省了不少检验时间 03/13 20:07
23F：→ blackwindy: 你怎麽能那麽确定他有算到? 03/13 20:08
24F：→ DemonElf: 在有限的时间内去找出胜率最高的位置下，而且就像black 03/13 20:08
25F：→ DemonElf: 提到的他还带有随机性，也就是说即使重新下一次今天的棋 03/13 20:09
26F：→ HamalAri: 选择不是看value network和MCTS的综合结果吗？没只看其 03/13 20:09
27F：→ HamalAri: 中一种吧 03/13 20:09
28F：→ DemonElf: Alphago下出来的结果理论上也有很大机会是不同的 03/13 20:09
29F：→ yamiyodare: 因为小李下了之後好几手 AlphaGo 居然还以为自己优势 03/13 20:10
30F：→ blackwindy: 就是连续没算到吧 至於为什麽没算到就是要看了 03/13 20:10
31F：→ allenmusic: 我是猜他重心花在计算自己下一步怎下 胜率高 没花太 03/13 20:10
32F：→ DemonElf: 不觉得AI这样的"以为"其实跟人类有很类似的一面吗 03/13 20:11
33F：→ blackwindy: 看到底是演算法设计缺陷 随机有问题 还是其他有的没的 03/13 20:11
34F：→ allenmusic: 多时间 去帮对方计算 对方下一步下那里 胜率如何 03/13 20:11
35F：→ allenmusic: 因为程式是人想 写出来的阿 哈哈 当然会有人类缺陷 03/13 20:12
36F：→ dukemon: 我记得之前不是有一局就想说他可能大局观不足，但李原本 03/13 20:12
37F：→ yamiyodare: 给一个盘面 要估出胜算本来就是超难题 有很大进步空间 03/13 20:12
38F：→ blackwindy: 他论文有提到他会预测对方接下来怎麽下 别乱猜 03/13 20:12
39F：→ dukemon: 想攻的地方被AlphaGO先行稳固 03/13 20:13
40F：推 NaoGaTsu: 推这篇，解说清楚。 03/13 20:16
41F：→ goldduck: 所以合理怀疑87手是被插入执行 03/13 20:30
42F：→ goldduck: 有被动手脚之嫌 03/13 20:31
43F：推 logus: 这ai就是模拟人类脑神经的产物 他本来就很像人 03/13 20:31
44F：→ logus: 他跟人的差别是他不眠不休的钻研围棋 而且也只会下围棋 03/13 20:32
45F：→ logus: 这种学习型ai甚至可以发展出自己的棋风 比如阿发狗的胜率流 03/13 20:33
46F：→ logus: 那是他吃玩棋谱之後觉得最好赢的下法 03/13 20:34
47F：→ logus: 比较可怕的是他很少犯错 没有情绪 你不能知到自己是否已经 03/13 20:36
48F：→ logus: 让ai动摇 03/13 20:36
49F：推 lolylolyosu: 小李复活我觉得没话说 但是阿发狗的防御明显掉太多了 03/13 20:40
50F：→ lolylolyosu: 这我认为有问题 不太可能黑51那边明显放给人杀的 03/13 20:40
51F：→ Uizmp: 也许这就是稳稳的赢 vs 赢多一点以避免後面会出错 间的取舍 03/13 20:42
52F：推 chiangburger: 重金聘请的测试工程师还真的找到bug~ 03/13 20:55
53F：→ Marino: 以deepmind的原始概念来说 它的系统每做一个动作 03/13 21:11
54F：→ Marino: 它就要被告知分数是增减或不变 03/13 21:12
55F：→ Marino: 也就是一个游戏是单纯的分数升降 deepmind通过学习就必胜 03/13 21:13
56F：→ Marino: 但围棋难的是每下一手并没有明确的分数升降 03/13 21:13
57F：→ Marino: 所以它才要估胜率来当做一种分数 03/13 21:13
58F：→ Marino: 所以要修的重点就是估算这部分 不然其他结构都是一样的 03/13 21:14
59F：→ Marino: deepmind也可以拿来玩星海 只是同样要给它一个算分系统 03/13 21:14
60F：推 ilove88th: 演算法本来就有随机性阿 03/13 21:56
61F：推 ShenMue: 请问一下估计胜率这种东西有可能多报吗？ 03/13 22:15
62F：→ ShenMue: 例如它估计49%~79%，连它自己都不敢肯定会收敛到49还是79 03/13 22:16
63F：→ ShenMue: 然後它就先吐79%给人看这样? 03/13 22:16
64F：推 DemonElf: 胜率本来就是一个统合比例了，怎麽会是一个范围XD 03/13 23:59
66F：→ birdy590: 这几个辅助 MCTS 的网路很复杂也很敏感 需要大量的调校 03/14 00:04
67F：→ birdy590: "估计胜率"是计算的结果, 这盘棋的状况显然是出错了 03/14 00:05