作者shala (沙罗是转换後的文字档打m)
看板Python
标题[问题] 请教更高效的比对方法
时间Sun Mar 3 00:27:48 2019
我有两个纯文字档
①Keyword.txt：待整理的关键字集
②NG.txt：已确定剔除的关键字集
两个档案都是每行一个关键字，各约1000行
我的工作是把Keyword.txt和NG.txt比对，如果Keyword.txt中的关键字未收录在NG.txt里
，则写入Temp.txt
我的做法是把NG.txt的内容存成字典，然後将Keyword.txt中的关键字逐一与字典比对
但这个方法似乎效率不太好，花了1分钟以上的时间才完成
所以想请教有无更高效率的做法？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 216.151.180.98
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1551544071.A.CF1.html
1F：推 Sunal: 你每读一行NG就要开档关档一次？ 另外不要用关键字当变数名03/03 00:31
2F：→ Sunal: 其实是开档两次 temp.txt跟ketword.txt03/03 00:33
3F：→ Sunal: 一次读完NG & keyword档案再一次写到 temp.txt就好03/03 00:34
变数是我贴文时没改到，不好意思。我不确定是否是频繁读写拖慢效率，因为我在其他地
方也有更多次数的读写，但耗费的时间仍少於20秒，所以我才想是否是比对字典太花时间
。
4F：→ djshen: O(n)的东西写成O(n^2)..03/03 00:44
对，早上起来再看就发现错了QQ
5F：推 TitanEric: set difference 03/03 01:03
谢谢，这个方法还没用过，我测试看看效率
6F：推 edwar: t=open 到 t.close 的缩排位置错了, 要跟第一个for一样03/03 01:36
对，昨晚没看出来QQ
7F：推 nini200: keyword集合A NG集合B A-B?03/03 01:36
8F：→ edwar: 还有,存放NG关键字dict的变数名字最好换一下,比如用ng03/03 01:38
9F：→ edwar: 变数名字取dict可能会有问题03/03 01:40
变数是我贴文时没改到，不好意思。
10F：推 lemon651: set difference 就解了阿03/03 02:41
11F：推 lemon651: 既然你都知道有set或是dict这种数据结构 怎麽会想要每查03/03 02:44
12F：→ lemon651: 一个字打开另一个档爬一遍阿...03/03 02:44
13F：推 lemon651: 我建议看一下你其他地方的文件读写是不是也是这种写法，03/03 02:46
14F：→ lemon651: 计算不花时间，io的时间不知道耗费了多少03/03 02:46
其他地方也有类似写法，但都效率正常，不过我还是Review一下有没有问题，谢谢。
15F：推 p8p8: 你的两个for loop要在同一个indent啦~03/03 04:22
对，早上重看codes就发现错了…晕
16F：→ p8p8: 你现在这样是nested loop，造成每读一行NG.txt，就读取一整03/03 04:22
17F：→ p8p8: 个Keyword.txt一次，那当然效率很差03/03 04:22
18F：→ p8p8: 本来应该是O(N+M)的，你的写法是O(NM)差很多03/03 04:22
19F：→ p8p8: 还有跟前几楼说的一样，用set即可不需用dictionary03/03 04:23
谢谢，其实那段code是节录出来再改掉变数名才贴的。使用dict的原因是在原程式中另有
用途。不过单纯就这段目的而言确实如您所说用set就好了。
※ 编辑: shala (209.234.253.197), 03/03/2019 09:44:46
20F：推 sean50301: ahocorasick03/03 16:40
21F：推 utopia12: Don’t use naive solutions, try elasticsearch 03/04 04:43
22F：→ shala: 可以解释为什麽吗？谢谢03/04 17:44
※ 编辑: shala (45.56.161.176), 03/13/2019 21:25:37