作者west1996 (焦了六年变脆了)
看板Statistics
标题Re: [问题] 群集分析(cluster analysis)上碰到的问题
时间Thu May 28 13:01:20 2009
※ 引述《adu (^_^)》之铭言:
: 之前没有点出问题所在,还请版大原谅。
: 想请教版大的是,该用哪种分析方法才是适宜的?
: 资料型态:
: 1.离散
: 2.x轴为长度
: 3.y轴为速率
: 4.单笔资料中各个资料点间有相关性(已知)->基本上各点的资料,由解相关性的分程式得来
: 5.相关性会造成资料分布以x轴为准,两端低落,中间单or多峰
: 6.有多笔资料(多dimentions)
: 原本的想法是用回归,看各笔资料是否有某一种趋势。
: 但由於各资料点不独立,无法服从残差iid的假设。
: ##资料->dimention. 资料点->单一资料中的各点
: 改用cluster analysis,又因各笔资料长度不相同
: 资料点的相关性又会造成分群时的困难。
: 请教版大们,在这样的资料下
: 1.cluster analysis该麽样去使用?
: 2.是否有其他的建议分析方法?
: 谢谢版大,还请版大们不吝指教:)
你可能要先考虑几件事情
1.资料的每一点的绝对值重不重要?相邻两点的数值差重不重要?
如果你care的是值的话,那碰到一个明显高或明显低的数值也没办法,要不就是自成
一组,要不就要找个依据证明他是outlier,然後看看把他遮起来之後会跟谁比较像
反之,如果值不重要,两点间是上升还是下降比较重要的话,可以考虑将下降持平上升
三种情况做个转换map到-1,0,1这一类的数上再去做cluster
2.资料的起始点是平等的吗?两笔资料在同一点上是可以比较的吗?
举例来说,三笔资料 4 6 2 1 5 3 1 2
3 4 6 2 1 5 3 1
3 6 2 1 5 3 1
要定义成像或不像?
3.碰到两个长度不一样的资料时,你要怎麽决定他像不像?
举例来说,两笔的观测值是 3 4 6 2 1 5 3 1
3 4 6 2 1 5
这个时候你是要接受他们像或是说他们不像?
如果是不像的话,一开始就可以把所有资料依据长度先分类起来
反之,如果是像的话,可能可以考虑在情况许可之下把所有资料都truncate到最短的
资料长度去做cluster,虽然这样会失去被truncate掉的那些资料的information,但
是他可以帮助我们去做初步的分类。如果觉得可惜,可以在cluster完之後针对每一组
的资料再去看後面那些被truncate掉的值来做更细的分组。又或者如果你有什麽证据
可以去合理的预估未来的值的话,把短的加长也是一招,不过这一招的稳定度和合理
性应该会比用truncate的方法来得差,来得容易被人挑战。
总的来说,要做分群的话就应该先把你的游戏规则想好,最关键的点不外乎就是"相似"
这两个字怎麽定义,你可以定义成欧式空间的距离或是相关系数或是任何符合你的要求
的判断依据,只要定好游戏规则,cluster就可以work了
btw既然资料前後有明显的相关,或许时间序列的方法也可以纳入考虑?不过这就不是我
熟悉的部分了。
以上是我目前的想法,提供你做个参考
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 61.230.72.191
1F:推 adu:谢谢您! 我会尝试往这个方向试试看:D!! 05/28 23:28