作者meichiang (美江)
看板Python
标题[问题] 完全新手问题 有关csv产出
时间Sat Sep 22 01:18:28 2018
手边有一大笔资料 1千多万的资料
第一栏位 为商品代码 之後栏位为这商品的其
他资料 总共有一千多万笔资料 要将一个大的
csv档根据第一栏的商品代码 根据商品代码另
存为csv档
由於没写过程式 爬文慢慢写出 以下东西 但感觉错了 用小笔资料跑 明显的跑错只开了
根据商品别开csv 但csv内没读取到资料
https://i.imgur.com/Tl2oDh9.jpg
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.161.133.180
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1537550310.A.123.html
1F:→ shadowfu: 可以改用pandas的dataframe来做 可能会好做一点09/22 01:27
2F:→ jackwang01: 你的y是有csv副档名的,if y in fcolumn1可能找不到东09/22 01:47
3F:→ jackwang01: 西?09/22 01:47
4F:→ meichiang: 有好的解决方法吗?09/22 02:15
5F:→ meichiang: 如果一次跑太多笔资料 要怎麽防呆09/22 02:15
6F:→ jackwang01: 把y改成column1应该就行了? 不知道你想做的是不是这09/22 02:19
7F:→ jackwang01: 样09/22 02:19
是的 小资料可以跑了 但原始资料跑不了 不知道如何 解决 就是读完一笔资料後 跳下一
笔
※ 编辑: meichiang (1.161.133.180), 09/22/2018 11:15:23
8F:→ DChun: 可以试看看pandas09/22 11:25
9F:→ fgghhg: 跑不了是跑不完吗?还是跑完没结果?这不一样09/22 12:27
10F:→ fgghhg: 这写法是全部都读到memory做,一千多万笔是有点多,有可09/22 12:29
11F:→ fgghhg: 能吃不下,还要看一笔有多大09/22 12:29
第一笔资料都跑不完 直接index out of rang
※ 编辑: meichiang (1.161.133.180), 09/22/2018 16:14:21
12F:→ acer1832a: 你要不要检查一下CASHVALUE.csv这个档案,看有没有某一 09/26 09:43
13F:→ acer1832a: 行是空白没资料的。因为for in应该是不会有index out 09/26 09:44
14F:→ acer1832a: of range,比较有可能是在fline.split(',')[1]这里出错 09/26 09:46
15F:→ virginbear: 不做巢状资料库吗? 10/19 15:42