作者Umagon (咩噜咩噜咩噜咩~~~~)
看板C_and_CPP
标题[问题] C大量开档关档可否更快?
时间Mon Aug 7 17:47:16 2017
开发平台(Platform): (Ex: Win10, Linux, ...) Win10
编译器(Ex: GCC, clang, VC++...)+目标环境(跟开发平台不同的话需列出) CodeBlock
额外使用到的函数库(Library Used): (Ex: OpenGL, ...) OpenCV
问题(Question)：
大家好，如果我想把大量txt档
1.txt 2.txt 3.txt
______ ______ ______
1 2 3 1 2 3 1 2 3
打开後将资料读进再重新输出成不同的txt档，但第一个存的是原本每个档案的第一个值
第二个存的是第二个值...
result1.txt result2.txt result3.txt
_______ _______ _______
1 1 1 2 2 2 3 3 3
有何方法能较快速的做完呢?
目前的做法是利用while fopen→fscanf→fprintf→fclose
但是不停开开关关档案似乎会非常耗时间，要跑很久
但这样就可以一次只做少量20个档
慢慢做20 20 20 ... 做完全部大量档案
有想过直接全部都先读进array暂存再一次输出
但会因为资料量庞大，在宣告array时就会错误了
可能我的想法比较笨一点QQ 不知道有没有什麽方法可以解决?
谢谢
喂入的资料(Input)：
预期的正确结果(Expected Output)：
错误结果(Wrong Output)：
程式码(Code)：(请善用置底文网页, 记得排版)
补充说明(Supplement)：
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.230.102.41
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/C_and_CPP/M.1502099238.A.DF2.html
1F：→ james732: array用malloc或new来配置空间 08/07 17:50
2F：→ james732: 你用int x[很大的数]一定会出问题 08/07 17:51
3F：→ Umagon: 好 我试试看 08/07 17:52
4F：→ Umagon: 会跳出 std::bad_alloc 的错误 08/07 17:59
5F：推 james732: 呃那代表你需要的真的太大了orz 08/07 18:01
6F：→ Umagon: 谢谢QQ 08/07 18:05
7F：→ Schottky: 到底是多大，有个数字可以参考吗? 08/07 18:11
8F：→ Schottky: 20 个档大可以全部开启，一起处理，到程式结束时再关闭 08/07 18:12
9F：→ Umagon: 大概450000000 08/07 18:13
10F：→ Umagon: 有试过最後再关闭 可是txt打开却没存到 (fprintf "a") 08/07 18:15
11F：推 TeaEEE: 你先把结果写到另三个档写完後再move回来就不用开开关关的 08/07 18:17
12F：→ Schottky: 没存到? 你有做 error handling 吗? 08/07 18:19
13F：→ Schottky: 磁碟存取的意外状况很多，error handling 不可免 08/07 18:19
14F：→ Umagon: 我不确定没存到是不是这个问题 因为我让他们共用一个FILE 08/07 18:20
15F：→ Umagon: *Ptr 做法是while sprintf(filename,"%d.txt",i) 08/07 18:21
16F：→ Umagon: 然後Ptr=fopen(filename) 才做fprintf(Ptr,) 08/07 18:22
17F：→ Schottky: ..... 共用是哪招，多用一些啊，pointer 很便宜的 08/07 18:22
18F：→ Umagon: 好QQ 我试试看 因为想说已经空间不够了还开很多Ptr QQ 08/07 18:24
19F：→ Schottky: 即使是 64-bit 一个 pointer 也才 8 bytes 08/07 18:31
20F：→ Schottky: 20 个 pointer 跟你要开的 4.5 亿个 int 是小巫见大巫了 08/07 18:32
21F：→ Schottky: 至於输出档，如果是一次性的倒是可以写完就关 08/07 18:33
22F：→ Umagon: 可以成功 速度有快多了 谢谢S大 还有T大跟j大 08/07 18:48
23F：→ james732: 不用谢啦我什麽都没帮上忙哈哈哈 08/07 18:49
24F：→ rbufghj9713: 版上的大大果然厉害(抄笔记 08/07 23:16
25F：→ rbufghj9713: 我可以问一下後来实现的方法吗？是同时开20个档案， 08/07 23:48
26F：→ rbufghj9713: 然後直接从里面找吗？ 08/07 23:48
27F：→ ducksky: 没存到应该是没下closefile 08/09 20:52
28F：→ mikukonn: 为何不打开第一个档案一次写完再开第二个？ 08/12 22:36
29F：→ mikukonn: 还是我理解错误了？ 08/12 22:36