作者flywin (村上式孤寂)
看板Statistics
标题Re: [问题] 双峰分布
时间Thu Feb 12 18:24:12 2009
※ 引述《pk9533 (dgh)》之铭言：
: 各位板友们好,
: 下数有几个问题想请教众板友:
: 请问双峰分布的pdf为何?
: 是否有有介绍此分布图形的参考书籍呢?
: 若是众多常态分布(但标准差不相同)的加减下, ex: A + B - C = D
: 是否有可能造成双峰分布? (D为双峰分布)
: 可否用蒙地卡罗模拟?若可以又需使用何种软体?
: 以上是目前困扰的问题,谢谢您的回答!
最近在研究EM演算法 因此有用到双峰分配这种东西
以下是小弟的一些看法 有错欢迎大家指教 谢谢
原PO大问的东西应该是用到混合分配模型(mixture model)的概念
所谓的混合模型可大略解释如下:
Mixture models: model the data by using a number of statistical
distributions.
也就是利用数个不同的分配(f_1(x)+f_2(x)+...f_N(x))去对资料作一个配适
也可以想成有一组样本X_1,...X_N 是来自於f_1(x)+f_2(x)+...f_N(x)这个合成分配
而非来自於某单一分配
而混合模型可用数学定义如下:(以TEX指令打成 若觉得不方便看 请看下面连结 谢谢)
p(x)=sum_{i=1}^{N}w_{i}p(x|C_i)
代表此混合模型是由N个model(distribution or component)所组成
也就是说p(x|C_i),i=1,...,N. 皆代表一个机率分配
而w_{i}是一个权重参数 代表某一个观测值x属於第i个单独分配的机率
下面连结是混合模型的一个简单的例子
http://tinyurl.com/dy5g6b
图形代表由两个常态机率分配 (有相同标准差2及平均数分别为-4,4)
所合成的的mixture model
而下面连结为对应的机率函数图(以matlab画成)
http://tinyurl.com/bwbjqh
另外要提的是, 一般我们说常态的线性组合还是常态
指的应该是常态"随机变数"的线性组合依旧服从常态
但mixture model是各个机率函数 直接相加
因此不见得是常态了
以上是小弟的心得 欢迎大家指教 谢谢^^
--
把简单的事情考虑的很复杂 可以现新领域
把复杂的事情看的很简单 可以发现新定律
http://herethere-queueing.blogspot.com/
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.113.108.146
1F：→ bmka:谢谢分享 02/12 22:08
2F：→ bmka:可不可以举几个mixture model 在实际上运用的例子 02/12 22:08
3F：→ bmka:还有跟EM有什麽样的关连?(为什麽要用到EM algorithm?) 02/12 22:09
4F：→ flywin:bmka大 我是在作data mining的分群时用到的 02/12 23:26
5F：→ flywin:mixed model里的每一分配皆对应到一个cluster 02/12 23:28
6F：→ flywin:而为了估计每一cluster(此时是一个分配)的参数 02/12 23:28
7F：→ flywin:需用到EM演算法来做做估计 而估计的原理就最大概似法 02/12 23:29
8F：→ flywin:因为一般的MLE 只能估计一般的分配 02/12 23:30
9F：→ flywin:而在mixed model里 并无法知道每一个观测直是确切来自於 02/12 23:31
10F：→ flywin:哪一个分配 因此无法算出概似机率 而EM可用来解决这类问题 02/12 23:33
11F：→ flywin:而我有学弟是利用EM 针对MODEL有missing data的情况 02/12 23:36
12F：→ flywin:作最大概似的估计 02/12 23:36
13F：→ flywin:我手上的例子是data mining的例子 若bmka大有需要 02/12 23:40
14F：→ flywin:我再整理给您 02/12 23:40
15F：→ bmka:恩...其实EM主要是用来做missing data的inference 02/13 00:01
16F：→ bmka:所以你只要点出来在mixture model 下的data那一部份是missing 02/13 00:02
17F：→ bmka:就回答了我的问题了(and that's what you said above) 02/13 00:03
18F：→ bmka:多给几个实际上的例子, 可以帮助大家了解data structure 02/13 00:05
19F：→ bmka:虽然我有点讨厌做EM, 但是它跟一些统计方法有很有趣的关联 02/13 00:06
20F：→ bmka:比如像survival analysi里的self-consistency algorithm 02/13 00:07
21F：→ bmka:(and hence Kaplan-Meier estimator) 就是等同於做EM 02/13 00:08