Statistics 板


LINE

※ 引述《windguide (夜很深)》之銘言: : ------------------------------------------------------------------------ : [軟體程式類別]: : 我盡量描述我的資料格式,希望大家可以了解 : Old Data New Data : name Description name Description : Tom John happy hungry energy Kate greedy,lazy,evil : Mary pretty cute funny Tom happy,kind : Kate greedy lazy John hungry,energy,angry,crazy : Cindy sunny Mary pretty,cute : Jack nice,stupid : Alan funny,shy,stupid 謝謝你提供的資料範例 : 兩欄之間是以TAB作分隔 : 在name欄中 舊資料與新資料的差異是在同一列中,舊資料會同時有兩個名字 : 新資料則是拆開成兩列,且新資料會有多的人名 : 在 Description欄中,舊資料是以空白作分隔,新資料是逗點;且同一人名新資料 : 會多或少一些描述 : 現在我的目標是產生一個新檔案 : 以新的資料人名為主。舊資料有,新資料沒有的人名,不要。 : 以新資料的人名,去比較新與舊的描述,只要新的描述。舊的有,新的沒有也不要 : 並且以空白作分隔 : 以上述例子,結果會變成 : name Discription : Kate evil : Tom kind : John angry crazy : Mary : Jack nice stupid : Alan funny shy stupid : 我現在的想法是說 把新舊資料設為matrix : 將先將舊資料與新資料作match,找出舊資料的index, : 再依此index對相對應的Discription作處理 : match(new[,1],old[,1]) : 但是此時會產生一個問題,就是在舊資料的 Tom John 這筆資料 : 無法被新資料match到,所以我猜match是精準比對? : 有無辦法變成部分比對或模糊比對?或者有更好的方式 : 再來就是Discription的部分,我是想找到index後,將相對應的新舊資料 : 再做一次比對,然後取代回新資料。可是這種類似取差集的的過程,有沒有 : 適當的函式可以操作。另外,我也不太懂要如何將資料matrix中的元素 : 以逗號和空白拆開,讓我可以做比對 : 不知各位有沒有其他的想法,文長抱歉 : [程式範例]: : 雖然張貼程式很可怕,但基本上有些程式還是要張貼才能解決 : ----------------------------------------------------------------------------- 考慮到你的資料的特性: - 基本上會大量使用name(key) --> description(value)的操作 - description項目的欄位長度不定 我會建議用以下的R的資料結構來處理這個問題 old_data <- list() old_data[["Kate"]] <- c("greedy","lazy") ... old_data[["Mary"]] <- c("pretty", "cute", "funny") new_data <- list() new_data[["Kate"]] <- c("greedy", "lazy", "evil") ... new_data[["Mary"]] <- c("pretty", "cute") 當轉換成這樣的資料結構之後,你可以使用 setdiff(names(new_data), names(old_data)) 來看new_data中多出來的人名 而個別人名的比對可以用 setdiff( new_data[["Kate"]], old_data[["Kate"]] ) 來看new_data比old_data多的 屬性 所以問題只剩下如何把你現有的資料轉換成上述的資料結構了 假設你用read.csv或是其他函數把你的原始資料讀入R old_data.raw <- read.csv( old_data.filename, stringsAsFactors = FALSE) 如果沒有其他問題(如格式、encoding...) 你應該會得到一個data.frame old_data.raw 然後一個row一個row的把資料塞到old_data中 name <- strsplit(old_data.raw$name[i], " ", fixed=TRUE) for(i in 1:nrow(old_data.raw)) { for(j in 1:length(name[[i]]) { old_data[[name[[i]][j]]] <- strsplit(old_data.raw$Discription[i], " ", fixed=TRUE)[[1]] } } new_data的處理方式類似,只是要替換split character 以上方式假設你沒有效能問題(例如資料過大,導致無法讀入記憶體...) 另外如果你要考慮不完全精確的比對,可以看看pmatch這個函數 請參考 -- 歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User 我們每週一都有在「政大公企中心(台北市金華街187號)西樓WB05」 舉辦Machine Learning / Data Mining Monday: 報名 http://www.meetup.com/Taiwan-R/ 聚會影片 https://www.youtube.com/user/TWuseRGroup --



※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.231.66.185 ※ 編輯: Wush978 來自: 118.231.66.185 (03/25 18:53)
1F:推 windguide:謝謝W大提供的想法,我來試試看,感謝 03/26 10:54
2F:→ MIZUYAMA:這個問題好複雜= = 03/28 22:23







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:WOW站內搜尋

TOP