作者meichiang (美江)
看板Python
標題[問題] 完全新手問題 有關csv產出
時間Sat Sep 22 01:18:28 2018
手邊有一大筆資料 1千多萬的資料
第一欄位 為商品代碼 之後欄位為這商品的其
他資料 總共有一千多萬筆資料 要將一個大的
csv檔根據第一欄的商品代碼 根據商品代碼另
存為csv檔
由於沒寫過程式 爬文慢慢寫出 以下東西 但感覺錯了 用小筆資料跑 明顯的跑錯只開了
根據商品別開csv 但csv內沒讀取到資料
https://i.imgur.com/Tl2oDh9.jpg
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.161.133.180
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1537550310.A.123.html
1F：→ shadowfu: 可以改用pandas的dataframe來做 可能會好做一點09/22 01:27
2F：→ jackwang01: 你的y是有csv副檔名的，if y in fcolumn1可能找不到東09/22 01:47
3F：→ jackwang01: 西？09/22 01:47
4F：→ meichiang: 有好的解決方法嗎？09/22 02:15
5F：→ meichiang: 如果一次跑太多筆資料 要怎麼防呆09/22 02:15
6F：→ jackwang01: 把y改成column1應該就行了？ 不知道你想做的是不是這09/22 02:19
7F：→ jackwang01: 樣09/22 02:19
是的 小資料可以跑了 但原始資料跑不了 不知道如何 解決 就是讀完一筆資料後 跳下一
筆
※ 編輯: meichiang (1.161.133.180), 09/22/2018 11:15:23
8F：→ DChun: 可以試看看pandas09/22 11:25
9F：→ fgghhg: 跑不了是跑不完嗎？還是跑完沒結果？這不一樣09/22 12:27
10F：→ fgghhg: 這寫法是全部都讀到memory做，一千多萬筆是有點多，有可09/22 12:29
11F：→ fgghhg: 能吃不下，還要看一筆有多大09/22 12:29
第一筆資料都跑不完 直接index out of rang
※ 編輯: meichiang (1.161.133.180), 09/22/2018 16:14:21
12F：→ acer1832a: 你要不要檢查一下CASHVALUE.csv這個檔案，看有沒有某一 09/26 09:43
13F：→ acer1832a: 行是空白沒資料的。因為for in應該是不會有index out 09/26 09:44
14F：→ acer1832a: of range，比較有可能是在fline.split(',')[1]這裡出錯 09/26 09:46
15F：→ virginbear: 不做巢狀資料庫嗎？ 10/19 15:42