作者ml919 (ml919)
看板Database
标题[讨论] csv档案大小1.7G, 该用什麽免费资料库
时间Mon Aug 21 23:20:13 2023
请教一下
我有csv档案大小从125mb到1.7G不等,
有什麽免费的资料库可以上传吗?
或是需要付费,但价格不贵的.
我是学校系上的project要用的,需要汇整这些csv档案
我有试过MS sql server express and Matlab,
但有资料跑掉或out of memory的问题.
Oracle express edition则有其他问题,像是 ORA12560
有什麽其他建议吗?
谢谢!!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 74.96.114.184 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Database/M.1692631215.A.640.html
1F：推 cancelpc: posgresql 08/21 23:39
2F：→ konkonchou: 先想办法把csv分切成小档，这尺寸汇入容易发生错误 08/22 00:22
3F：推 championship: 如果是table类型的资料，可以考虑转成 parquet 格式 08/22 12:38
4F：→ championship: ，能有效降低空间 08/22 12:38
5F：→ dennisxkimo1: 你的ora listener 没启动成功 上篇很明显 08/29 23:39
6F：→ dennisxkimo1: 建议拿简单的11gXE来玩 08/29 23:40
7F：→ dennisxkimo1: 电脑名称、win帐号避免中文 08/29 23:41
8F：→ dennisxkimo1: 网卡IP请设定不是DHCP的固定ip 08/29 23:41
9F：→ dennisxkimo1: 不然就玩postgresql ，巨量资料又肯学，NoSQL的mong 08/29 23:43
10F：→ dennisxkimo1: o也行 08/29 23:43
11F：推 dennisxkimo1: sql还是ora的express都有资源先天限制 08/29 23:44
12F：→ dennisxkimo1: cpu ram跟空间都有限制，不管你的电脑买多好都没用 08/29 23:45
13F：→ pinkykk: 可以参考各DB提供的大档汇入工具，如sqlload,bcp等 08/31 09:47
14F：推 yan960521: postgredql 我跟你情况差不多 每个csv都破百 放postgr 09/23 17:43
15F：→ yan960521: esql还能合在一起处理 09/23 17:43
16F：推 xhining: sqlite3，很容易取得，虽然我手边的资料库没破G 09/24 14:11