※ 引述《yamiyodare (shantotto)》之銘言： : DeepMind 學習打磚塊的過程 : https://www.youtube.com/watch?v=V1eYniJ0Rnk : 人類給予的提示只有把分數提高, 自我訓練幾個小時就可以達到專家的水準. : 一開始 AI 亂數決定移動的方法. : 後來它會發現到亂到特定的地方不漏接球能提高分數, : 給予的回饋會強化類神經網路讓它的移動方式盡量不漏接. : 厲害的在後面, 最後它會學到先鑽通道是最有效的得分方式. : 這不是人教的, 人只跟它說, 把分數給我打高, 其它自己想辦法. 先狂亂打(暴力打法)再進行歸納, 以找到得高分的最佳途徑, 這好像是電腦必然的 但卻是單一個人不可能去做的, 因為規模太大了, (而且....) : 但像圍棋這麼複雜的東西, 直接用亂數下學習的過程太緩慢了. : AI 的做法是先盡量下的跟高手一樣, 因為高手可能的下法幾乎包含了最佳解. : AI 從這些候選走法往下找可以節省大量時間空間. : 透過大量的高手對戰譜訓練出一個迅速模仿高手次一手的 policy network. AI 可以轉瞬學會所有定石 等於是到地球作戰的外星部隊一次掌握地球的全部地形 所以有大局觀可以理解 可是, 我不太懂死活要怎麼解？因為死活很複雜啊, 隱藏著豬羊變色的規則和劫活 還是其實死活的題型和變化在AlphaGo看來存在上限？ : value network 是型勢判斷, 給予一個特定盤面就能夠迅速回報勝率. : AI 開出千萬分身自我對練高手的棋路到終局 (最後誰贏電腦可以判斷的夠準) : 然後回溯盤面, 訓練出一個可以估計任何盤面勝率的 value network. (不好意思, 插問一下回溯的英文是什麼> <) 在序盤就要計算到勝率看起來完全不可思議啊!!! 假設AlphaGo vs AlphaGo'(比本體稍弱)的勝率比是51:49好了 那這個比值「從第幾手開始」才會跳動呢？ 感覺上, 答案根本上決定在對局兩造的實力 也就是這個比數是從決定將AlphaGo'的能力調弱多少之後就決定了 至於從第幾手、從中盤還是終盤, 只是機率分派路徑的問題 嗯, 很可能是我想錯了 只是我覺得既然AlphaGo有辦法進行暴力歸納, 它對手數的觀看方式應該和我們不一樣 有點「四次元」的感覺啊 XD : 目前看起來訓練的越多, 估計的會越準確 (棋力越高) : 如果任何盤面勝率都可以正確估算, 基本上圍棋就被破解了. : 因為電腦可以知道從第一手到終盤的最佳走法. : 拿黑棋如果不貼至少會贏幾目, 而且只有特定棋譜可以達到. : 有了 policy network 跟 value network, : AI 就可以試下各種高手次一手, 再加上有效率的蒙地卡羅搜尋法, : 盡可能把勝率高的次一手展開往下運算, 提高勝率估算的準確度. : 可以把它想像成很多高手提供次一手的下法, 那就來下下看, 看誰說得對. : 但要留意, AI 的目標是勝率最高 (反擊手最少), 不是目數最多, 不是棋型最美. : 看 AlphaGo 下棋會讓我想到以前打道策的譜, 許多著手都是天馬行空. : 怎麼看都很奇妙, 但最後就是會贏. 不太懂value network為什麼是重在反擊手最少呢？可以再說明一下嗎？ 說到反擊, 我是覺得任何反擊都可預期, 只差在「有沒有效率」而已 而效率除了涉及手數，目數，還關係到手順, 這點跟收官有最佳順序一樣 唯前提是死活的問題要先解決, 因為即使是官子也會受打劫影響 你說的反擊手最少, 指的是....？ 如果目前的AI計算能力已經強到甚至能改變定石、爭奪手順, 那....lol (定石真的是沒有破綻的嗎？還是只是地球人的破綻？) : : 大概是這樣, 不過我更想知道這個convolutional neural networks是什麼？ : : 和節點的類神經網路有什麼不一樣啊？ : convolutional neural networks 是類神經網路的一種 : 它的概念是想模仿生物的視覺, 同時具有巨觀跟微觀的觀察能力. : : 人可以像時間暫停般做收官的, 除了AI, 恐怕還是只有李昌鎬做得到 : : 但現在已經不是李昌鎬的全盛期了....AlphaGo還是來的太晚了 : : 我覺得很可惜啊 : : 好在官子不是圍棋唯一的特色 : : 李世石這個有閱歷又藝高人膽大的, 多變的風格正適合這種前無古人的對局! : : 在經過兩次對局、探到對手的能耐後, 他會進行什麼樣的布局？ : : 畢竟, AlphaGo會進步, 而李世石也會啊! : : 期待明天的對奕～ : 我在想甚麼樣的方式可以打敗 AlphaGo : 因為 AlphaGo 是模擬高手次一手, 人類下出前所未聞的好手 (新定石新型新佈局) : 才有機會把 AlphaGo 導向勝率估不準的局勢上 (因為對練很少往那邊下缺乏經驗) : 舉例而言, 應該沒有人比武宮正樹更懂宇宙流. : 假設 AlphaGo 回到武宮以前的時代砍掉重練, AI 對於宇宙流的局勢不熟. : 武宮對 AlphaGo 用三連星開局或許可以把 AlphaGo 壓著打. : 不過壓著打也是一時, 跟武宮下棋 AlphaGo 可以學到宇宙流的各種變化. : 透過自我對練熟悉宇宙流的各種局勢, 從而做出較準確的估計. : AlphaGo 你打贏它, 它就會再度進化. : 人類生命有限, 技藝的傳承速度緩慢. : AI 可以有效的繼承人類全體的經驗, 加速技藝的提昇. : 藤澤秀行曾說, 圍棋如果有 100, 他最多懂的不過 6、7. : 有沒有想過, AI 繼續發展下去可以讓職業九段兩子三子甚至九子? : 人類要探索圍棋的極限, 得靠 AI 的輔助. 宇宙流的相關定石應該很少 如果AI要發展宇宙流派, 那也不錯呀～～ 但那樣的圍棋就不會是我們目前以為的圍棋了而是一盤只有AI能下的棋局 看新聞說, Google DeepMind 的目光放在破解人類學習的密碼 嗯, 這個是認知科學的腦神經領域啊! 而用只有電腦可以使用的方式(例如暴力歸納)來破解人腦的學習, 是矛盾不是嗎？ -- 謝謝對convolutional neural networks的解說 這好難 我會再研究一下> < --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.223.114.150 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/GO/M.1457758455.A.55C.html