作者newvalentine (haha)
看板Database
标题[讨论] 巨量资料的处理
时间Tue Feb 6 11:47:46 2018
本身自己是写程式出身, DB 上有些问题想问问大大先进
自己维护的 table 本身一个月以 500 万笔资料成长
且该 table 有大概 30-40 个栏位
这样的状况造成在一些报表统计上
原本於 Weblogic 限制内可跑完的时间变得会 timeout
index 也一直有在加上去
但是有时候报表统计的 group 不同总觉得一直开 index 下去不是办法
所以不知道有没有业界的大大碰到类似的问题
可否指教通常会怎处理呢？
目前仅限缩查询范围跟输入一些必要条件
但是处於公家单位, 其觉得资料应该都可以调阅且分析
所以真得很进退两难
有时候资料甚至没法给个完整结案的时间,
好先做一些数字资料统计 QwQ
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.34.109.157
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Database/M.1517888869.A.198.html
1F：→ iFEELing: 如果你的资料写进去就沉下去不会改 那可以考虑 02/06 22:20
2F：→ iFEELing: 另外开一台DB 或是分散式计算 用来跑报表 02/06 22:21
3F：→ iFEELing: 或是先把固定样式的资料算好暂存 就不用每次从头算 02/06 22:24
4F：→ iFEELing: 硬体的话就换全快闪储存加大记忆体 02/06 22:25
5F：→ newvalentine: 刚好都会一直在改很头痛 QQ 02/07 17:54
6F：→ bravomao: 我猜DB只有一台，且WLS的thread都会卡死在DB是吗? 02/07 23:36
7F：→ newvalentine: DB 有两台, 但是 weblogic 限定查 5 mins 02/22 15:39
8F：→ newvalentine: 因为资料量太大造成超过 5mins timeout 02/22 15:39
9F：推 silver8250: 请改用 OLAP 类型的 DB 来处理报表，又快又不用 index 02/28 22:33