作者lattes (逢甲路黑天鵝)
看板Python
標題[問題] csv大量時間數據轉換
時間Fri Apr 26 00:29:20 2019
各位大神大家好
小弟是初學的新手 最近拿到一份四百多萬筆的時間數據.csv
其時間數據格式大概長這樣
A B
1 G1 2018010101
2 G2 2018011101
.......
想請問我想要將時間資訊的欄位轉換為
2018-01-01 01:00:00.000
2018-01-11 01:00:00.000
並重新產生一份新的csv
我應該用datetime相關函式去處理
還是單純按照數據規則去加上 - : 等相關符號土法煉鋼處理
先感謝各位大大的答覆
還請指教教學
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.208.210
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1556209762.A.C3D.html
1F：→ roccqqck: datatime04/26 00:34
2F：→ roccqqck: 吧04/26 00:34
3F：推 froce: 用pandas讀進去，再用apply將其轉換成datetime，並傳回str04/26 00:47
5F：推 sma1033: 一行一行讀，人工split好像也花不了幾秒鐘?04/26 09:53
6F：推 jiyu520: 你問的應該是效率誰好？ 分別處理一次看處理時間差異04/26 11:13
7F：→ froce: code的量其實應該沒啥差，不過速度應該會慢一點。04/26 11:14
8F：→ froce: pandas的處理速度快很多04/26 11:14
9F：→ froce: 而且一行一行處理，還要考量磁碟IO04/26 11:15
10F：→ froce: pandas則是要注意記憶體夠不夠04/26 11:15
11F：→ benzxa: time 還是 datetime 有個東西可以自訂輸入 strftime 然後04/26 15:04
12F：→ benzxa: 再轉存你要的格式即可04/26 15:04
13F：→ clang: 檔案太大的話pandas也有chunk可以用04/26 20:54
14F：→ feeya: 先不要管400萬筆 先用前1萬筆試試看就好啦04/26 21:48
15F：噓 yushes920179: Google04/27 13:57
感謝各位大大的回覆意見
過幾天有空我再繼續試試
樂冰大不用這麼噓 我就是google過沒有明確答案 也查過相關ptt文章問題
或許我的問題可能對你來說很簡單吧
佔到版面還深感抱歉
※ 編輯: lattes (27.247.226.214), 04/27/2019 15:10:31