作者peter308 (pete)
看板Physics
标题Re: [问题] 机器学习RBM模型中的 能量函数解释
时间Fri Jul 3 16:02:21 2020
※ 引述《davidwales (cluster)》之铭言:
: ※ 引述《loser113 (洨大鲁蛇ㄍ)》之铭言:
: : 参考对岸之乎介绍
: : https://zhuanlan.zhihu.com/p/40120848
: : 模型概念图
: : https://pic3.zhimg.com/80/v2-b81b786ae6eb1bbaa1c04c7b3963e8ea_1440w.jpg
: : 目前在学RBM里面用了一个能量函数 ( nergy function)
: : https://pic1.zhimg.com/80/v2-8f783076cd101380913929745026c7e0_1440w.jpg
: : 利用物理概念但是 还是不太懂设置这函数的用意
: : 目前已获得的讯息是能量越低越稳定
: : 机器学习模型追求是准确度
: : 里面演算法运算 是找到某个参数最大概似函数最大值 (这边数学部分就不多做解释)
: : 使得联合函数最大
: : https://pic2.zhimg.com/80/v2-e0db53e5ff23cd01b8a8f11f965fb0e9_1440w.jpg
: : 其中
: : https://pic3.zhimg.com/80/v2-148857ea03b7564bbf5bc500df86568a_1440w.jpg
: : 理论上是每个P都相等机率相乘会最大 那不太懂这边追求每个P相近
: : 用物理怎麽解释节点(每组V到模型的差异相近?)
: : 或者更直接一点 怎麽解释追求 每个P相近 对於模型准确度有甚麽关系
: https://www.sciencedirect.com/science/article/pii/S0370157319300766
: 这篇文章有回答你的疑问
: 可以参考一下
: 作者群全部是物理学家
: 所以他们的ML观点可能会比较容易让物理系学生吸收理解
: 希望有点帮助!
RBM 在物理上 是借用 Ising model 和 Hubbard-Stranvoich transformatiion
把原本的Ising model变成是是可以用平均场理论去处理的一个问题
你看到的那个 RBM Energy Form
其实原始是一个Ising model的能量位势 哈密顿量 H
H = -Σa_i‧V_i - 1/2ΣV_i J_ij V_j
其中 a_i 是外加磁场,
V_i, V_j 是在i,j-site上的自旋量 (For Ising model, 1,0,-1)
J_ij 是coupling constant
接下来 我们透过Hubbard-Stranvoich transformation
引进一个Bosonic field (latent variable) 後,
可将原本的H 变成一个多出latent variable的 H'
h_\mu 是多出来的 bosonic field (或是latent variable)
H' = -Σa_i.V_i + 1/2Σh_\mu^2 - Σv_iW_iu h_\mu
原本的 H 中的 ΣV_i.J_ij.V_j 这项
会变成 H'中 Σv_i.W_iu.h_\mu 一个平均场的项,
W_iu 就是监督学习中常见的 weighting matrix
你把 H' 拆解回去 H 就会发现其实
H就是一个 Ising model 在外加磁场 a_i 下的总位能函数
引进Hubbard-Stranovich 目的只是让我们在解Ising model时
变成一个可以用 effective mean field theory来处理的问题 (比较容易处理)
回应你的式子
a_i = 外加磁场
V_i, V_j = site i, j 上的spin
h_j = bosonic field
一般作法就是先用Monte Carlo sample出dataset
再从dataset 去训练出weighting matrix的矩阵元素(参数)
训练出参数就可以去做後续的预测分析或是用来非常快速的找出磁性系统的基态解了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.117.32.216 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Physics/M.1593763346.A.5B0.html
※ 编辑: peter308 (140.117.32.216 台湾), 07/03/2020 16:03:34
※ 编辑: peter308 (140.117.32.216 台湾), 07/03/2020 16:05:30
※ 编辑: peter308 (140.117.32.216 台湾), 07/03/2020 16:57:45
※ 编辑: peter308 (203.204.149.227 台湾), 07/04/2020 13:33:03
※ 编辑: peter308 (203.204.149.227 台湾), 07/04/2020 13:39:02
※ 编辑: peter308 (203.204.149.227 台湾), 07/04/2020 13:40:58
※ 编辑: peter308 (203.204.149.227 台湾), 07/04/2020 13:43:05