作者newvalentine (haha)
看板Database
標題[討論] 巨量資料的處理
時間Tue Feb 6 11:47:46 2018
本身自己是寫程式出身, DB 上有些問題想問問大大先進
自己維護的 table 本身一個月以 500 萬筆資料成長
且該 table 有大概 30-40 個欄位
這樣的狀況造成在一些報表統計上
原本於 Weblogic 限制內可跑完的時間變得會 timeout
index 也一直有在加上去
但是有時候報表統計的 group 不同總覺得一直開 index 下去不是辦法
所以不知道有沒有業界的大大碰到類似的問題
可否指教通常會怎處理呢？
目前僅限縮查詢範圍跟輸入一些必要條件
但是處於公家單位, 其覺得資料應該都可以調閱且分析
所以真得很進退兩難
有時候資料甚至沒法給個完整結案的時間,
好先做一些數字資料統計 QwQ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.109.157
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Database/M.1517888869.A.198.html
1F：→ iFEELing: 如果你的資料寫進去就沉下去不會改 那可以考慮 02/06 22:20
2F：→ iFEELing: 另外開一台DB 或是分散式計算 用來跑報表 02/06 22:21
3F：→ iFEELing: 或是先把固定樣式的資料算好暫存 就不用每次從頭算 02/06 22:24
4F：→ iFEELing: 硬體的話就換全快閃儲存加大記憶體 02/06 22:25
5F：→ newvalentine: 剛好都會一直在改很頭痛 QQ 02/07 17:54
6F：→ bravomao: 我猜DB只有一台，且WLS的thread都會卡死在DB是嗎? 02/07 23:36
7F：→ newvalentine: DB 有兩台, 但是 weblogic 限定查 5 mins 02/22 15:39
8F：→ newvalentine: 因為資料量太大造成超過 5mins timeout 02/22 15:39
9F：推 silver8250: 請改用 OLAP 類型的 DB 來處理報表，又快又不用 index 02/28 22:33