作者KSmart (经济不景气,好景不常在)
看板C_Sharp
标题[问题] 多次资料搬移效率问题...
时间Sun Sep 16 23:24:29 2012
假设目前有四个资料夹A.B.C.D
A为个人PC,用来执行程式
B为FILESERVER,里面是依照不同的资料夹放档案
所以资料夹阶层为\\B\TEST\123456.txt
(目前里面大概有1万多个资料夹,15万笔资料)
C.D也都是FILESERVER,与B不同之处在於资料夹内直接是档案,并无透过资料夹分类
也就是\\C\123456.txt 以及\\D\123456.txt
执行程式的流程为
A资料夹内有A-1资料夹 ===A资料夹===
├A1资料夹 (基本上A1是原始档,不会动到)
├123.txt ┬
├456.txt 10~20个档案
├789.txt
├..... ┴
在程式执行完後,会在A资料夹底下产生A2资料夹 ===A资料夹===
├A1资料夹
├A2资料夹
├123.txt ┬
├456.txt 10~20个档案
├789.txt
├..... ┴
A2资料夹为A资料夹中的txt档处理过後的档案,so档名会跟A资料夹中的txt档名一致
另外还会在A2资料夹产生"一个"EXCEL(档案处理清单)
为了确保资料的一致性,所以资料都使用搬移的动作...
接下来,会在B上根据单号产生某个资料夹...假设为TEST
所以程式会在B产生一个TEST资料夹,并将A2资料夹内的资料复制一份到TEST资料夹
接下来,会再将A2资料夹内的资料复制一份到C Server(不用资料夹分类,且不含EXCEL档)
在接下来,会将A资料夹下的txt档(未处理过的档案)复制一份至C Server...
==============================================================================
在资料这样一来一往复制情况下,执行程式处理20个档案
都要等将近10~20秒。
我想重点应该是在於B Server,因为B Server资料夹多,档案也多...
所以create一个资料夹应该花不少时间,更何况还要搬移资料...
因此,有个念头想要改写这个程式...
但是,要如何在确保资料的一致性下,又不会影响程式执行的速度呢??
麻烦各位大大指教
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 118.171.195.234
1F:推 Eleganse:1个程式处理20个档案要20秒 那就开20个程式吧~ :)) 09/17 13:21