作者eplis (Eplis)
看板C_Sharp
標題[問題] dictionary 使用問題
時間Tue Mar 18 13:29:20 2014
這個問題比較像是如何設計。
系統會陸續收到很多筆資料(一天約兩千萬筆)，我想判斷這些資料是否有重複。
通常只需要和當天資料比較，也就是說今天資料不需要和兩天前的比。
原先我是使用 dictionary儲存，收到資料就 add 進 dictionary，
再使用 containskey 方法來做為重複判斷。
目前問題出在當系統運作幾天後，這個dictionary內的資料量會變得很大
而不需要被比較的資料仍舊存在(如上面所說，要判斷重複僅須和資料的+-1天相比)
我想到用 remove(dictionary.keys.first)方式，但是新進的資料就會被放在 first
一旦下一次 remove時就會刪到較新的資料
ex:
dic.add("1",1);
dic.add("2",2);
dic.add("3",3);
dic.remove(dic.keys.first);
dic.add("4",4);
印出結果..
4,4
2,2
3,3
下一次 remove 4,4就會被刪除了
我有想到用sortedDictionary，但是他的速度慢很多，一個是 O(log n)，一個是O(1)
想請問有沒有更好的方式或建議？
--
Mars-瑪爾斯群英傳，為一種多人的地下城文字網路遊戲(MUD)，
以西方魔法奇幻風格為背景，讓玩家扮演各種職業進行冒險、解謎。
IP：
218.161.35.207 8888 討論板:
PTT mud_mars
Eplis @ Mars
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.163.17.139
1F：→ m339606:兩千萬....先進資料庫如何? 03/18 13:39
2F：→ m339606:資料量大的話在程式碼中處理會非常非常非常消耗資源 03/18 13:47
3F：→ eplis:如果說都先進資料庫確實沒有這個問題，只是每一筆都進資料庫 03/18 15:35
4F：→ eplis:去比對是否有重複，會不會製造大量I/O，反而比較慢？ 03/18 15:35
5F：→ eplis:這方面我比較沒經驗.. 03/18 15:35
6F：→ emn178:改用MemoryCache ? 03/18 18:23
7F：→ m339606:進資料庫好處是可以分散資源(資料庫獨立)，後續處理容易 03/18 19:00
8F：→ m339606:至於大量IO的問題要看實際運作，可以Cache後定時進資料庫 03/18 19:01
9F：→ m339606:從文內判斷的話資料會無限制的不斷進來 03/18 19:02
10F：→ m339606:1天兩千萬，10天呢?100天呢?到時候比對會是一個大災難 03/18 19:02
11F：→ m339606:如果每天清空重新處理的話倒也還好，考慮+-1天比對的話... 03/18 19:03
12F：推 YahooTaiwan:我覺得進資料庫會造成更大的災難欸 兩千萬筆... 03/18 20:29
13F：推 YahooTaiwan:你有試過OrderedDictionary嗎 03/18 20:45
14F：→ ssccg:+-1天比對，不能每天清掉-2天的資料嗎 03/18 21:03
很抱歉我補充一下，因為資料只會比對+-1天，所以舊的資料是可以清除的
我有想過一個方法，但是應該不是很好
在資料量進來少的時候，做foreach，判斷資料時間 < -1天，就remove
※ 編輯: eplis 來自: 124.218.24.252 (03/18 21:24)
15F：推 g66932007:還沒看過table裡有兩千萬筆的資料..... 03/18 21:33
16F：推 YahooTaiwan:請問你remove的條件只有"時間 > 一天"嗎 03/18 22:13
是的，有用的資料就是"當下時間"到"當下時間的前一天"，其他都已經沒用了
17F：→ m339606:兩千萬筆資料進不進資料庫都會有大問題，好處是可以分散 03/18 22:26
18F：→ m339606:不進資料庫就需要謹慎考慮資料安全性，例如出錯當機 03/18 22:27
19F：→ m339606:存在記憶體給你一個方向就是三個Dictionary 03/18 22:34
20F：→ m339606:A、B、C 每天固定時間從A複製到B、B複製到C，一天分配一個 03/18 22:36
21F：→ m339606:讓一天的資料固定占用一個Dictionary，+-一天比對就解決了 03/18 22:37
22F：→ m339606:天啊三個就6千萬...權衡一下要用哪種吧，混合也是種方法 03/18 22:41
※ 編輯: eplis 來自: 124.218.24.252 (03/19 00:22)