Statistics 板


LINE

工作內容:統計檢定專案指導,問題與瓶頸描述於後 應徵資格:有類似實務經驗者佳 工作時間:1/10前,台灣時間07-14時以外皆可(德國時間半夜以外) 工作薪資:NT1500/hr+ 可議,至少給付1hr 工作地點:Skype線上語音&螢幕分享, 我已經有code,可以當場指導、當場run 聯絡方式:請先站內信聯繫取得skype ID 備註事項:人在國外、發案者很熟悉SAS,R與python,但不是統計背景出身, 不太熟悉非常態分佈與小樣本的處理方式,還有一般作統計檢定的流程。 資料: https://pastebin.com/GS7p64gU 問題: 某工廠在一次維修中發現機械故障 懷疑某汙染物質經此滲入其樣品, 故進行抽樣檢定,以確定樣品是否遭受此機械故障造成之額外汙染。 現有資料為: 對照組(在汙染前取得之樣本)batch0,16筆資料; 以及懷疑遭受額外汙染的批次 batch1~batch7,每個batch各15或16筆資料。 每筆紀錄格式 conc=該汙染物質之濃度(arbitrary unit)。 batch=B0~B7=不同的生產批次 run=1或2=每批次隨機抽樣後,分成兩組,分別於不同的時間點測量(註1) 儀器是同一套 空白代表missing value 瓶頸: (1) 這組數據很奇怪,對照組的分佈不太normal Kolmogorov-Smirnov test against normality做下去, 結果 p-value = 0.057,剛好在 5% 邊緣, 但是實驗組 batch2~batch7 做 K-S test 都沒有拒絕 normality。 這種 marginal case 我如果不做常態分佈的假設,後面有辦法繼續進行嗎? (後續我還有很明顯是non-normal的case要做 所以這部份至少觀念上必須釐清) (2) outlier如何處理?一般邏輯為何? 在不確定整個分佈是否為常態時, 到底對照組的 outlier,應當如何偵測/處理?建議不予刪除?那實驗組呢? (3) 能不能用 Box-Cox transformation 先把對照組樣本轉成normal? 這項技巧什麼時候可以用? (4) 整體而言有沒有一個比較嚴謹或公認的分析邏輯? 我目前預想的邏輯是 1.確定對照組的分佈特性(常態或非常態?有沒有outliers?) 2.檢定各實驗組與對照組的 mean or median 是否有差異 3.檢定 variance 4.檢定整個分佈的 goodness of fit 但是現在還卡在1. 而且說真的我不太知道怎麼定義問題, 例如到底怎樣才叫作"檢出"? 如果有個goodness of fit (Anderson-Darling)的結果 發現實驗組跟對照組的分佈是有差異的, 但是mean跟variance都沒有明顯差異, 如此我仍然應該宣稱樣品遭到汙染嗎? 諸如此類的問題,希望能一併請益,以便後續作業。 註1:每個batch資料有兩個run(各7或8筆資料,但已跑過 Anderson-Darling test 證明兩個run沒有差異。 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 62.163.65.2
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1546708500.A.E99.html
1F:→ andrew43: 可能把batch和run的意義說明一下。 01/06 19:17
2F:→ andrew43: 例如,同一batch不同run是指同樣本不同儀器測試嗎? 01/06 19:18
感謝指出,已更新於上。
3F:→ andrew43: 我初步看來似乎log_10(conc)當應變數就能解決很多麻煩了 01/06 20:41
4F:→ oNeChanPhile: 但是憑什麼可以先取log呢?我總要有個理由 01/06 21:30
我的意思是, 我做box-cox transform取lambda=-1也可以弄成normal啊 Anderson-Darling D statistics = 0.1165 還算可以 問題是為什麼我可以做這件事情 為什麼取log或者box-cox transform而不是其他手段 做這件事情不會被抨擊嗎? ※ 編輯: oNeChanPhile (62.163.65.2), 01/06/2019 21:44:11
5F:→ andrew43: 資料轉型很主觀。最常見的理由是使之後的方法較合適。 01/06 22:06
6F:→ andrew43: 我不是說box-cox不好。單純從mixed model配適後來看log 01/06 22:07
7F:→ andrew43: 轉型的效果已經很不錯,不表示它一定是最好的方式。 01/06 22:08
8F:→ andrew43: 另,小樣本做是不是特定分配的適合度檢驗的power常很差 01/06 22:13
9F:→ andrew43: 所以你的資料可以說得上很不像常態了,轉型可先被考慮。 01/06 22:18
10F:→ Pieteacher: 考慮無母數作法,如果不是常態 或許可行 01/07 17:19
11F:推 pitaya13: 你的資料筆數太少 所以常態檢定沒什麼意義 直接用無母 01/09 08:01
12F:→ pitaya13: 數統計去做就行了 01/09 08:01
13F:推 pitaya13: 以你要的結果 可能要用Mann Whitney U 檢定去比較各Batc 01/09 08:04
14F:→ pitaya13: h 和對照組batch0有沒有差異 01/09 08:04
15F:→ andrew43: 若視batch為區集應避免採用MW U 01/09 18:14







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:BuyTogether站內搜尋

TOP