作者kido183 (Fotograf)
看板Statistics
標題[問題] 請教這該用哪種檢定？
時間Mon Aug 13 02:55:24 2012
我想請教一下我這種情況該用哪種檢定？
爬了很多文但是似乎沒有找到跟我類似的案例..
情況是這樣：
有兩種搜尋引擎A,B 共有六個不同的任務 i,ii,iii...vi
每個受測者都必須完成4個任務(每系統各2)
任務編號是隨機的
會得到如以下結果： (A1即表用A系統做的第一項任務)
ID\System A1 A2 B1 B2
user1 45 54 32 42
user2 33 44 22 33
user3
.
.
.
結果為完成任務所需要的時間(秒)
如果我要比較使用者使用A,B兩種引擎的速度是否有顯著差異
那我該用哪種檢定呢？
本來覺得是用paired sample T-Test....但感覺又不大對
(把資料整理成 SysA SysB
45 32
54 42
33 22
44 33
下去跑？)
用two-sample t-test 拿sysA sysB 分組應該也不對?
是要用Repeated-measure ANOVA嗎？ ...謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 132.252.242.25
1F：→ yhliu:每個 user 做的任務不同, 那 user 之間的比較有意義嗎? 08/13 10:11
2F：→ kido183:倘若任務一樣只是不同引擎的話 那學習效應就太強了.. 08/13 19:28
3F：→ kido183:變成後做的那組數據一定狂勝前組.. 08/13 19:29
4F：→ yhliu:不同 user 哪來 "學習效果"? 08/14 02:37
5F：→ yhliu:似乎你不理 user 之間的差別. 但即使不同引擎比較, 難道不同 08/14 02:39
6F：→ yhliu:任務就不會影響表現? 6個任務每個 user 做4個, 資料中又把 08/14 02:42
7F：→ yhliu:做什麼任務的訊息給丟棄---忽略了就等於無效應? 08/14 02:44
y大您好 抱歉可能是我文字敘述的不是很清楚
A,B兩種引擎其實是非常相近的 (就像你用google或yahoo搜尋東西..但兩者資料庫一樣)
Database也完全一樣，差在兩個引擎有不同的介面
任務內容也很日常 就像：請找幾本了解都更案的書
倘若user1 先用系統A做了任務i, 他再用系統B做任務i時
因為出現的東西他之前都看過了 所以速度與找到的量 會變得非常之快 反之易然
也因為這個緣故所以一個user在他的4次嘗試之中不會做兩個一樣的任務
(後做的那個結果一定好相當多 無論他用A或B)
另外做任務的訊息這些是有保留起來 我上面那個表格只是為了讓大家容易理解簡化
實際的看起來類似下面這個樣子
AnswerNr. User System Task TotalTime Found 找到第一筆時間
1 1 A 1 x x
2 1 A 2 x x
3 1 B 3 x x
4 1 B 4 x x
5 2 A 2 x x
6 2 A 3 x x
7 2 B 4 x x
8 2 B 5 x x
9 3 A 6 x x
.
.
.
------------------
又倘若我把任務縮為4個 那任務表會像下面這樣
(i,ii,iii,iv是任務編號)
userID\ System A A B B
1 i ii iii iv
2 ii i iv iii
3 iii i ii iv
4 iv ii i iii
5
如果是這樣的話，那要比較系統A,B要怎麼比較呢？
又要做這類型的實驗時，每個user一定要做所有的任務嗎？
不能設計多領域的任務，然後隨機抽樣測試？
其實我這想法是看以下這篇論文衍生出來的
網路自動分群搜尋引擎之使用者評估研究
User Evaluation of Web Clustering Search Engines
Sih-Ying Chen
他在裡面也做了有點類似的事,但沒有檢驗差異性是否顯著
只是單純比較時間而已..
感謝
8F：→ ching0629:考慮一下generalized estimating equations吧 08/14 13:34
感謝 正在研究這個是什麼東西!
※ 編輯: kido183 來自: 77.181.112.152 (08/14 19:56)
9F：→ yhliu:不先弄清楚資料特性談什麼分析方法那是扯淡. 08/15 10:36
10F：→ yhliu:影響耗用時間的因素有: user, task, system, 熟悉度. 08/15 10:38
11F：→ yhliu:也就是說: 在設計方面要能分離出以上各項效應, 所以, 一個 08/15 10:39
12F：→ yhliu:task 不能只在一個 system 上執行. 但為了避免任務熟念效應 08/15 10:41
13F：→ yhliu:(學習效應), 一個人不能執行同一個任務兩次. 那麼, 實驗對象 08/15 10:42
14F：→ yhliu:(user) 的均質性會是影響結果正確性的重要因素. 為了避免系 08/15 10:43
15F：→ yhliu:統性偏誤, 還要考慮隨機性指派. 上述 "熟悉度" 指的是對 08/15 10:46
16F：→ yhliu:system 的熟悉度, 一個系統初次使用, 再次使用與經常使用, 08/15 10:47
17F：→ yhliu:在操作順暢上當然有所不同, 任務完成所需時間當然也有所不同 08/15 10:48
18F：→ yhliu:在資料記錄方面, 影響結果(任務耗費時間)的各因素都應包括在 08/15 10:49
19F：→ yhliu:內. 最初所列資料把幾項因素都忽視了, 後來列的資料似乎還欠 08/15 10:50
20F：→ yhliu:缺表現 "熟悉度" 的資料. 08/15 10:51
21F：→ yhliu:明確了實驗設計和資料架構, 接下來是考慮模型: 所列諸多因素 08/15 10:52
22F：→ yhliu:如何作用於反應變數(任務耗費時間)? 是相加的嗎?是直線的嗎? 08/15 10:54
23F：→ yhliu:除了可歸因於所列因素的系統成分以外, 不可歸因的(誤差)又是 08/15 10:55
24F：→ yhliu:如何? 是單一誤差, 或多重誤差項(user誤差, system 誤差, 08/15 10:56
25F：→ yhliu:task 誤差). 這些誤差是加上去的?乘上去的?或複雜組合? 08/15 10:57
26F：→ yhliu:模型有了, 再來才是考慮這樣的模型有哪些可用的統計方法. 08/15 10:58
27F：→ yhliu:p.s.: 請別再寄信來, 信箱早已滿了! 08/15 10:59
感謝指導...
因為我也不是文商統計本科的 有的東西沒有學過這麼深
統計也就教到T-Test跟chi而已 剩下只能自己摸索爬文 所以會有些看來荒謬的問題
還感謝不吝指教
※ 編輯: kido183 來自: 93.130.185.192 (08/15 19:43)
28F：推 nigue:三因子ANOVA? 08/17 02:20