作者stevekevin10 (hippo泡)
看板Soft_Job
标题[请益] 资料库速度问题
时间Thu May 5 21:25:43 2016
最近遇到一个状况
有4000万笔select and insert sql指令要跑
本来是开一只程式在跑
但看处理速度来说会花太久时间
因此改成10只一起跑(懒得写成multi thread QQ)
速度提升2~3倍
请问还有甚麽方式可以再加快资料库的速度呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.241.58.64
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1462454745.A.B48.html
1F：推 gn01838335: Index 建partition05/05 21:27
index有建了
partition..忘记以前上课有上过了 谢谢><
※ 编辑: stevekevin10 (111.241.58.64), 05/05/2016 21:30:42
2F：→ GoalBased: 去查大量新增的语法05/05 21:33
他的顺序是...先select得到结果 做些处理再insert><
※ 编辑: stevekevin10 (111.241.58.64), 05/05/2016 21:39:25
3F：推 gn01838335: Sqlserver 找 bcp in05/05 21:40
这...没听过我google一下 谢谢
4F：推 sing10407: bulk insert，每秒几千笔不是问题05/05 22:32
目前每秒6000左右不知道能不能再快点..
5F：推 ChiaHungChen: Merge05/05 22:34
merge??
6F：→ GoalBased: 学会变通阿..甚麽叫做他先怎样怎样..又不是定死的05/05 22:41
7F：推 vity: Hive05/05 22:46
※ 编辑: stevekevin10 (111.241.58.64), 05/05/2016 22:53:49
8F：推 et69523820: 先把Select的结果 先暂存在阵列里面 比如Select 有一 05/05 23:43
9F：→ et69523820: 万笔资料 透过阵列取出资料 组出一次性 insert 在一次 05/05 23:44
10F：→ et69523820: 写入 绝对比使用多程式去执行Insert快好几倍 05/05 23:45
11F：→ et69523820: 会慢 主要是insert一次资料 就必须更新索引一次 05/05 23:46
12F：→ ChungLi5566: 换一座storage 05/06 08:35
14F：推 cobrasgo: 只select要的，很多人无脑select * 05/06 14:22
15F：推 jinmin88: 先扫一遍select串成insert sql存档 然後开档bulk insert 05/06 16:11
16F：推 cpper: 才4000万笔根本不用上面一堆人讲那麽复杂，你只要安装hp ve 05/06 19:20
17F：→ cpper: rtica , 把资料汇进去就行了，sql照跑薪水照领，哪来那麽多 05/06 19:20
18F：→ cpper: 事，又不是吃饱太闲研究这些干嘛 05/06 19:20
19F：推 et69523820: 比较简单付钱 想要免费比较复杂 有些公司想要免费 05/06 19:53
20F：推 locklose: 推hp vertica 05/07 01:29
21F：推 prae: 先把index的更新关掉，全部跑完再一次更新 05/07 12:33
22F：推 xva: 真的要快，就不要用sql了 05/07 13:42
23F：推 dingyuchi: elasticsearch 05/07 14:21
24F：推 tloy1966: 好像再描述清楚一点比较好 05/08 13:44
25F：→ tloy1966: 什麽DB, insert 跟select 都是4K w? 05/08 13:45
26F：→ tloy1966: 有没有可能卡硬体速度 05/08 13:46