作者eplis (Eplis)
看板C_Sharp
标题[问题] dictionary 使用问题
时间Tue Mar 18 13:29:20 2014
这个问题比较像是如何设计。
系统会陆续收到很多笔资料(一天约两千万笔)，我想判断这些资料是否有重复。
通常只需要和当天资料比较，也就是说今天资料不需要和两天前的比。
原先我是使用 dictionary储存，收到资料就 add 进 dictionary，
再使用 containskey 方法来做为重复判断。
目前问题出在当系统运作几天後，这个dictionary内的资料量会变得很大
而不需要被比较的资料仍旧存在(如上面所说，要判断重复仅须和资料的+-1天相比)
我想到用 remove(dictionary.keys.first)方式，但是新进的资料就会被放在 first
一旦下一次 remove时就会删到较新的资料
ex:
dic.add("1",1);
dic.add("2",2);
dic.add("3",3);
dic.remove(dic.keys.first);
dic.add("4",4);
印出结果..
4,4
2,2
3,3
下一次 remove 4,4就会被删除了
我有想到用sortedDictionary，但是他的速度慢很多，一个是 O(log n)，一个是O(1)
想请问有没有更好的方式或建议？
--
Mars-玛尔斯群英传，为一种多人的地下城文字网路游戏(MUD)，
以西方魔法奇幻风格为背景，让玩家扮演各种职业进行冒险、解谜。
IP：
218.161.35.207 8888 讨论板:
PTT mud_mars
Eplis @ Mars
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 118.163.17.139
1F：→ m339606:两千万....先进资料库如何? 03/18 13:39
2F：→ m339606:资料量大的话在程式码中处理会非常非常非常消耗资源 03/18 13:47
3F：→ eplis:如果说都先进资料库确实没有这个问题，只是每一笔都进资料库 03/18 15:35
4F：→ eplis:去比对是否有重复，会不会制造大量I/O，反而比较慢？ 03/18 15:35
5F：→ eplis:这方面我比较没经验.. 03/18 15:35
6F：→ emn178:改用MemoryCache ? 03/18 18:23
7F：→ m339606:进资料库好处是可以分散资源(资料库独立)，後续处理容易 03/18 19:00
8F：→ m339606:至於大量IO的问题要看实际运作，可以Cache後定时进资料库 03/18 19:01
9F：→ m339606:从文内判断的话资料会无限制的不断进来 03/18 19:02
10F：→ m339606:1天两千万，10天呢?100天呢?到时候比对会是一个大灾难 03/18 19:02
11F：→ m339606:如果每天清空重新处理的话倒也还好，考虑+-1天比对的话... 03/18 19:03
12F：推 YahooTaiwan:我觉得进资料库会造成更大的灾难欸 两千万笔... 03/18 20:29
13F：推 YahooTaiwan:你有试过OrderedDictionary吗 03/18 20:45
14F：→ ssccg:+-1天比对，不能每天清掉-2天的资料吗 03/18 21:03
很抱歉我补充一下，因为资料只会比对+-1天，所以旧的资料是可以清除的
我有想过一个方法，但是应该不是很好
在资料量进来少的时候，做foreach，判断资料时间 < -1天，就remove
※ 编辑: eplis 来自: 124.218.24.252 (03/18 21:24)
15F：推 g66932007:还没看过table里有两千万笔的资料..... 03/18 21:33
16F：推 YahooTaiwan:请问你remove的条件只有"时间 > 一天"吗 03/18 22:13
是的，有用的资料就是"当下时间"到"当下时间的前一天"，其他都已经没用了
17F：→ m339606:两千万笔资料进不进资料库都会有大问题，好处是可以分散 03/18 22:26
18F：→ m339606:不进资料库就需要谨慎考虑资料安全性，例如出错当机 03/18 22:27
19F：→ m339606:存在记忆体给你一个方向就是三个Dictionary 03/18 22:34
20F：→ m339606:A、B、C 每天固定时间从A复制到B、B复制到C，一天分配一个 03/18 22:36
21F：→ m339606:让一天的资料固定占用一个Dictionary，+-一天比对就解决了 03/18 22:37
22F：→ m339606:天啊三个就6千万...权衡一下要用哪种吧，混合也是种方法 03/18 22:41
※ 编辑: eplis 来自: 124.218.24.252 (03/19 00:22)