作者stevekevin10 (hippo泡)
看板Soft_Job
標題[請益] 資料庫join後count速度問題
時間Sun May 8 16:47:27 2016
抱歉又來請益個資料庫問題m_ _m
需要join 500萬 跟 3萬筆的表格
根據篩選條件後再根據後者的欄位做count
但現在下完query後都會卡住
請問該如何是好
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.97.130
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1462697249.A.497.html
1F：推 abc0922001: 弱弱問一下，資料庫有建立索引嗎05/08 16:53
2F：→ stevekevin10: 有05/08 16:53
3F：推 sivid: 能不能搬到cloud上面 scale up?05/08 17:03
目前沒有cloud能用。。
※ 編輯: stevekevin10 (114.136.97.130), 05/08/2016 17:03:49
4F：推 longlongint: 可以先用小筆測試資料來估計 500萬join3萬會是幾筆嗎05/08 17:11
5F：→ ga013077: 500萬的能先下條件縮小範圍??05/08 17:11
6F：推 andyjon: 該用hash join 看看05/08 17:13
好 我試試看以前沒用過m_ _m
7F：推 brucetu: 3萬筆的那張表 , 先篩過再來join?05/08 17:34
是要join完後再篩@@
8F：推 alog: 以前用過兩張數百萬筆的資料做join 結果性能悲劇05/08 17:37
9F：→ alog: 為了解決這個問題把整套db放到ram disk05/08 17:37
10F：→ alog: 結果還是跑了一整天沒有結果05/08 17:38
11F：→ alog: 調了db各種參數還是沒用05/08 17:38
QQ
※ 編輯: stevekevin10 (114.136.97.130), 05/08/2016 17:41:11
12F：→ alog: 後來我就異想天開 想說分批查詢試試 就把兩張表的資料用LIMI 05/08 17:40
13F：→ alog: T 先控制住範圍 05/08 17:40
14F：→ alog: 然後分幾次查詢 大概一次查詢只花了半分鐘 05/08 17:41
15F：→ alog: 當天幹了要死XD 05/08 17:41
16F：→ ian90911: 可以檢查是不是有開多線程搜尋? 05/08 17:42
17F：推 gn01838335: Union不同條件的select 05/08 17:56
18F：→ yyc1217: 可以用explain看看 05/08 17:59
19F：→ yyc1217: 還是想看看query 也許會變成500萬*3萬個再篩選的結果 05/08 18:00
20F：→ brucetu: 原本查詢長什麼樣子 為什麼一定要join完再篩@@ 05/08 18:18
21F：推 yourinfo: 問的太龍統了，簡單說就是先處理500萬，再join 05/08 21:19
22F：→ yourinfo: 為什麼一定要先join才能查!? 05/08 21:20
23F：推 sing10407: 太籠統了 sql貼出來才知道 05/08 21:23
24F：推 et69523820: 我的作法是 都不join 單獨讀取出500萬放陣列 單獨讀取 05/08 21:28
25F：→ et69523820: 3萬筆 放陣列 用key當元素 馬上就可以指到你要的資料 05/08 21:30
26F：→ et69523820: 這樣總共讀取出503萬筆資料 大概幾分鐘就可以跑完 05/08 21:33
27F：推 et69523820: join會有乘積效應 所以我基本上都不會用join都改用陣 05/08 21:39
28F：→ et69523820: 列處理 05/08 21:39
29F：推 kiwatami: 我猜你的資料庫啟動後沒有把資料讀到記憶體內 05/08 21:56
30F：→ kiwatami: 而是用硬碟在跑才會這麼慢 然後你建的索引 05/08 21:56
31F：→ kiwatami: 跟你 join 的欄位有一樣嗎 05/08 21:56
32F：→ kiwatami: 把 schema 跟 SQL 都放上來比較好判斷 05/08 21:56
33F：→ kiwatami: 500萬 * 3萬正常應該不至於會卡住 05/08 21:56
34F：推 et69523820: 要看3萬對應出來有幾筆 如果對應出來有1000筆 05/08 22:13
35F：→ et69523820: 500萬 * 1000筆 = 50億 2000筆就 100億... 05/08 22:14
36F：→ alan3100: 大哉問 你這樣問從頭到尾都有東西可以講 等於沒講 05/08 22:16
37F：推 abc0922001: 希望index的欄位有在查詢的欄位中XDD 05/08 22:29
38F：推 sorianotw: 即便放到ram裡面，可以思考看看這樣的資源成本是否過 05/09 09:11
39F：→ sorianotw: 高 05/09 09:11
40F：→ sorianotw: 效能不是只有速度而已，資源耗用多少會影響整個系統的 05/09 09:13
41F：→ sorianotw: 吞吐量，這也是需要去思考的議題 05/09 09:13
42F：推 sorianotw: 蠻多使用join的情景，都可以拆分成數個simple select, 05/09 09:15
43F：→ sorianotw: 資料量大的狀況下， 速度反而更快，且資源耗用量更小 05/09 09:15
44F：推 kiwatami: 啟動時沒讀 搜尋後也是會存進去 只是先後順序而已 05/09 13:34
45F：推 iamshiao: 推 05/10 19:30