作者anakinyen (我在台北 天氣晴)
看板R_Language
標題Re: [問題] 以時間間隔為條件，抽取資料
時間Wed Feb 8 13:07:04 2017
遇到一個可能是很新手的問題
跳出迴圈指令跑完後
+ break
+ }
Error in as.POSIXct.default(time1) :
do not know how to convert 'time1' to class “POSIXct”
> sambar[ , diffTime := NULL]
Warning message:
In `[.data.table`(sambar, , `:=`(diffTime, NULL)) :
Adding new column 'diffTime' then assigning NULL (deleting it).
我猜是因為difftime預設的處理資料格式是 hh:mm，沒有把日期考慮進去
但我試了半天都沒改成功
也不太確定我的資料檔日期格式是否正確
目前格式長這樣 2012/11/1 6:04，不知道1號是不是該改成01，6點該改成06 ?
再麻煩大大們幫忙了，感謝
※ 引述《celestialgod (天)》之銘言：
: ※ 引述《anakinyen (我在台北 天氣晴)》之銘言：
: : [問題類型]:
: : 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
: : [軟體熟悉度]:
: : 新手，只會套用package
: : [問題敘述]:
: : 我有一批動物研究的資料
: : 資料大致長這個樣子，共有12隻個體一萬多筆
: : 個體A 2012/10/11 20:00 實驗資料OOXX
: : 個體A 2012/10/11 23:00 實驗資料OOXX
: : 個體A 2012/10/12 03:00 實驗資料OOXX
: : 個體B 2012/12/11 05:00 實驗資料OOXX
: : 個體B 2012/12/11 11:05 實驗資料OOXX
: : 個體B 2012/12/11 13:00 實驗資料OOXX
: : 個體B 2012/12/11 18:00 實驗資料OOXX
: : 個體B 2012/12/11 20:00 實驗資料OOXX
: : 由於時間間隔過短的話，資料之間可能有相關性
: : 因此我現在想要設定6小時的閥值，間隔超過6小時的資料才會保留
: : 以上面資料為例
: : A個體保留第一、第三筆資料
: : B個體保留第一、第二、第四筆資料
: : 我的程度是新手，偶爾會拿一些package來套用
: : 請教是否有相關套件或現成code可以用在這個案例
: : 非常感謝~~
: 我用while + data.table做，若用data.frame會複製很多次，效率會不彰
: library(data.table)
: # 產生資料
: numObs <- 50
: numInd <- 5
: DT <- data.table(ind = paste0("A", sample(numInd, numObs, TRUE)),
: time = strptime("2012/12/11", "%Y/%m/%d") +
: sample(86400, numObs, TRUE),
: obs = rnorm(numObs))
: # 排序
: setorder(DT, ind, time, obs)
: # 移除掉時間差小於六小時的
: k <- 1
: while ( TRUE ) {
: # 計算時間差，以小時表示
: DT[ , diffTime := difftime(time, time[min(k, .N)], units="hours"), by = ind]
: # 留下自己那一組
: set(DT, which(DT$diffTime == 0), which(names(DT) == "diffTime"), 1e6)
: # 留下時間差超過六小時的
: DT <- DT[abs(diffTime) > 6, ]
: # 下一組
: k <- k + 1
: # 如果k大於某組的觀測值數目就跳離迴圈
: if (k > max(DT[ , .(numObsGroup = .N), by = ind]$numObsGroup))
: break
: }
: DT[ , diffTime := NULL]
: 五萬筆觀測值，一千個個體，耗時0.23秒 (平均一個個體50個觀測值)
: 五十萬筆觀測值，一千個個體，耗時0.39秒 (平均一個個體500個觀測值)
: 我覺得這個速度應該可以接受
: 不過我的區間只有24小時，所以可能都很快就篩選完了
: 有人可以試試看更長時間的表現
: 有問題或任何人有更好解法，歡迎提供，感謝
: Note: 間隔一百天，五十萬筆觀測值，一千個個體，耗時18.33秒
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.84.115
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1486530426.A.8B6.html