作者kido183 (Fotograf)
看板Statistics
标题[问题] 请教这该用哪种检定？
时间Mon Aug 13 02:55:24 2012
我想请教一下我这种情况该用哪种检定？
爬了很多文但是似乎没有找到跟我类似的案例..
情况是这样：
有两种搜寻引擎A,B 共有六个不同的任务 i,ii,iii...vi
每个受测者都必须完成4个任务(每系统各2)
任务编号是随机的
会得到如以下结果： (A1即表用A系统做的第一项任务)
ID\System A1 A2 B1 B2
user1 45 54 32 42
user2 33 44 22 33
user3
.
.
.
结果为完成任务所需要的时间(秒)
如果我要比较使用者使用A,B两种引擎的速度是否有显着差异
那我该用哪种检定呢？
本来觉得是用paired sample T-Test....但感觉又不大对
(把资料整理成 SysA SysB
45 32
54 42
33 22
44 33
下去跑？)
用two-sample t-test 拿sysA sysB 分组应该也不对?
是要用Repeated-measure ANOVA吗？ ...谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 132.252.242.25
1F：→ yhliu:每个 user 做的任务不同, 那 user 之间的比较有意义吗? 08/13 10:11
2F：→ kido183:倘若任务一样只是不同引擎的话 那学习效应就太强了.. 08/13 19:28
3F：→ kido183:变成後做的那组数据一定狂胜前组.. 08/13 19:29
4F：→ yhliu:不同 user 哪来 "学习效果"? 08/14 02:37
5F：→ yhliu:似乎你不理 user 之间的差别. 但即使不同引擎比较, 难道不同 08/14 02:39
6F：→ yhliu:任务就不会影响表现? 6个任务每个 user 做4个, 资料中又把 08/14 02:42
7F：→ yhliu:做什麽任务的讯息给丢弃---忽略了就等於无效应? 08/14 02:44
y大您好 抱歉可能是我文字叙述的不是很清楚
A,B两种引擎其实是非常相近的 (就像你用google或yahoo搜寻东西..但两者资料库一样)
Database也完全一样，差在两个引擎有不同的介面
任务内容也很日常 就像：请找几本了解都更案的书
倘若user1 先用系统A做了任务i, 他再用系统B做任务i时
因为出现的东西他之前都看过了 所以速度与找到的量 会变得非常之快 反之易然
也因为这个缘故所以一个user在他的4次尝试之中不会做两个一样的任务
(後做的那个结果一定好相当多 无论他用A或B)
另外做任务的讯息这些是有保留起来 我上面那个表格只是为了让大家容易理解简化
实际的看起来类似下面这个样子
AnswerNr. User System Task TotalTime Found 找到第一笔时间
1 1 A 1 x x
2 1 A 2 x x
3 1 B 3 x x
4 1 B 4 x x
5 2 A 2 x x
6 2 A 3 x x
7 2 B 4 x x
8 2 B 5 x x
9 3 A 6 x x
.
.
.
------------------
又倘若我把任务缩为4个 那任务表会像下面这样
(i,ii,iii,iv是任务编号)
userID\ System A A B B
1 i ii iii iv
2 ii i iv iii
3 iii i ii iv
4 iv ii i iii
5
如果是这样的话，那要比较系统A,B要怎麽比较呢？
又要做这类型的实验时，每个user一定要做所有的任务吗？
不能设计多领域的任务，然後随机抽样测试？
其实我这想法是看以下这篇论文衍生出来的
网路自动分群搜寻引擎之使用者评估研究
User Evaluation of Web Clustering Search Engines
Sih-Ying Chen
他在里面也做了有点类似的事,但没有检验差异性是否显着
只是单纯比较时间而已..
感谢
8F：→ ching0629:考虑一下generalized estimating equations吧 08/14 13:34
感谢 正在研究这个是什麽东西!
※ 编辑: kido183 来自: 77.181.112.152 (08/14 19:56)
9F：→ yhliu:不先弄清楚资料特性谈什麽分析方法那是扯淡. 08/15 10:36
10F：→ yhliu:影响耗用时间的因素有: user, task, system, 熟悉度. 08/15 10:38
11F：→ yhliu:也就是说: 在设计方面要能分离出以上各项效应, 所以, 一个 08/15 10:39
12F：→ yhliu:task 不能只在一个 system 上执行. 但为了避免任务熟念效应 08/15 10:41
13F：→ yhliu:(学习效应), 一个人不能执行同一个任务两次. 那麽, 实验对象 08/15 10:42
14F：→ yhliu:(user) 的均质性会是影响结果正确性的重要因素. 为了避免系 08/15 10:43
15F：→ yhliu:统性偏误, 还要考虑随机性指派. 上述 "熟悉度" 指的是对 08/15 10:46
16F：→ yhliu:system 的熟悉度, 一个系统初次使用, 再次使用与经常使用, 08/15 10:47
17F：→ yhliu:在操作顺畅上当然有所不同, 任务完成所需时间当然也有所不同 08/15 10:48
18F：→ yhliu:在资料记录方面, 影响结果(任务耗费时间)的各因素都应包括在 08/15 10:49
19F：→ yhliu:内. 最初所列资料把几项因素都忽视了, 後来列的资料似乎还欠 08/15 10:50
20F：→ yhliu:缺表现 "熟悉度" 的资料. 08/15 10:51
21F：→ yhliu:明确了实验设计和资料架构, 接下来是考虑模型: 所列诸多因素 08/15 10:52
22F：→ yhliu:如何作用於反应变数(任务耗费时间)? 是相加的吗?是直线的吗? 08/15 10:54
23F：→ yhliu:除了可归因於所列因素的系统成分以外, 不可归因的(误差)又是 08/15 10:55
24F：→ yhliu:如何? 是单一误差, 或多重误差项(user误差, system 误差, 08/15 10:56
25F：→ yhliu:task 误差). 这些误差是加上去的?乘上去的?或复杂组合? 08/15 10:57
26F：→ yhliu:模型有了, 再来才是考虑这样的模型有哪些可用的统计方法. 08/15 10:58
27F：→ yhliu:p.s.: 请别再寄信来, 信箱早已满了! 08/15 10:59
感谢指导...
因为我也不是文商统计本科的 有的东西没有学过这麽深
统计也就教到T-Test跟chi而已 剩下只能自己摸索爬文 所以会有些看来荒谬的问题
还感谢不吝指教
※ 编辑: kido183 来自: 93.130.185.192 (08/15 19:43)
28F：推 nigue:三因子ANOVA? 08/17 02:20