作者ml919 (ml919)
看板Database
標題[討論] csv檔案大小1.7G, 該用什麼免費資料庫
時間Mon Aug 21 23:20:13 2023
請教一下
我有csv檔案大小從125mb到1.7G不等,
有什麼免費的資料庫可以上傳嗎?
或是需要付費,但價格不貴的.
我是學校系上的project要用的,需要彙整這些csv檔案
我有試過MS sql server express and Matlab,
但有資料跑掉或out of memory的問題.
Oracle express edition則有其他問題,像是 ORA12560
有什麼其他建議嗎?
謝謝!!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 74.96.114.184 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Database/M.1692631215.A.640.html
1F：推 cancelpc: posgresql 08/21 23:39
2F：→ konkonchou: 先想辦法把csv分切成小檔，這尺寸匯入容易發生錯誤 08/22 00:22
3F：推 championship: 如果是table類型的資料，可以考慮轉成 parquet 格式 08/22 12:38
4F：→ championship: ，能有效降低空間 08/22 12:38
5F：→ dennisxkimo1: 你的ora listener 沒啟動成功 上篇很明顯 08/29 23:39
6F：→ dennisxkimo1: 建議拿簡單的11gXE來玩 08/29 23:40
7F：→ dennisxkimo1: 電腦名稱、win帳號避免中文 08/29 23:41
8F：→ dennisxkimo1: 網卡IP請設定不是DHCP的固定ip 08/29 23:41
9F：→ dennisxkimo1: 不然就玩postgresql ，巨量資料又肯學，NoSQL的mong 08/29 23:43
10F：→ dennisxkimo1: o也行 08/29 23:43
11F：推 dennisxkimo1: sql還是ora的express都有資源先天限制 08/29 23:44
12F：→ dennisxkimo1: cpu ram跟空間都有限制，不管你的電腦買多好都沒用 08/29 23:45
13F：→ pinkykk: 可以參考各DB提供的大檔匯入工具，如sqlload,bcp等 08/31 09:47
14F：推 yan960521: postgredql 我跟你情況差不多 每個csv都破百 放postgr 09/23 17:43
15F：→ yan960521: esql還能合在一起處理 09/23 17:43
16F：推 xhining: sqlite3，很容易取得，雖然我手邊的資料庫沒破G 09/24 14:11