Database 板


LINE

常常會聽到有這種說法: "select動作很慢 是不是 Hardware/OS/database config 有問題" 大致上歸類有以下幾種情形 (這是我自己的分類~~呵~~) 1.應用程式 這邊我指的是 - 設計與實作 這個部分也是最容易看到效果也最不花錢的 但是最花時間 @@ 設計 通常是比較難解決的 如 table design 的錯誤 想改正 可能要整個打掉重做 若是開發中或是測試用的系統可能還好 但是...prod DB怎麼可以說停就停說打就打 有些機器整年都不能停...那怎麼辦? @@" 實作 這一段就是重點了 我所經驗過的效率問題(雖然不是很多經驗) 80%以上集中在這一塊 一般程式師由於對資料庫的"操作"不熟悉 因此好像總有個印象認為只要懂得 SELECT、JOIN、Group 就好 也就是只求正確(嗯...Schedule的壓力問題我們不討論 = =) 我所說的操作並不是單純下下SQL就OK 而是一些基本可以避開的問題點 算是基礎觀念 在這一方面 如果可以做到盡可能避免這些問題 不只可做出效率佳的程式 也可減少在硬體上的成本浪費 以下與資料庫本身的廠家設計無關 我想應該通用吧 ^^ 大部分我還是以 Oracle 為主 A).存取Data的數量 不必要的data勿 select 出來後再剔掉 盡量在SQL上將存取的限制做好 程式可以少處理一筆就少處理 B).Index的使用 適當使用Indexes 在random access時可以確保程式的效率 但也需要避免Indexes的濫用 如一個table有 10以上的 indexes 不要懷疑 就是會有 = =" 我想各個資料庫的Index基本原理是大同小異的 但可以提供的功能確可能不太相同 如: 欄位是否可以倒置 存取資料超過整個table多少%時 Index反而浪費Resource 這些需要查過手冊才知道 C).網路傳輸 這是最容易被忽略的一個部分 常常程式師會將Business寫在前端(指非資料庫)的程式中 因此 將data透過網路由Client(包括Applicatin Server)處理 在網路傳輸上面浪費時間是一件可怕的事 我們很可能無法察覺原來程式的效率瓶頸出在這裡 我曾試過 將整個 program 寫在 Store Procedure/Function中 與寫在前端的應用程式中 使用相同的 SQL , Data數量 , database config 速度可以相差到 10倍 = =" D).批次工作的分配 有資料產生 就一定有報表需求 報表通常是User最會Complain的一個部分 我們可以將這些批次工做分配到時間軸上 而不是一次跑完 舉例說明 若系統每月需產生月報表 則每日將當日結算資料設計產生至另一個日結算table 跑月報表時將可以大大節省時間 當然 有些情況下 無法設計日結算的table(可能因BUSINESS問題) 這就需要靠各位的 Know How 及智慧去解決嚕 E).轉個彎會不會更好 有些時候無法避免 需要存取的 data就是這麼多 上面提到的幾點也都考慮了 但還是跑很久 由於data原本就需處理這麼多 這時是不是用些偷吃步的做法(呵~) 可能會讓程式跑的更快 舉例 將需存取的資料先暫存於某一temp table 再進行處理 這一部分的應用需要對資料庫本身的Feature有一定的瞭解 否則反而會造成其他資料庫的影響 2.系統異常 嘿...這個呢 有可能發生在任何一個環節 OS NETWORK DATABASE 都有可能 不過 異常通常會導致...完全沒辦法動 = =" 如 Oracle 8i 中 temporary segment會發生的錯誤 storage parameter setting 所以 也跳過 (我看是不知從何講起吧 噗~) 3.Hardware/OS/database - Config 有問題 這個我們不討論 (是因為不知道怎麼討論吧 @O@ ) 因為發生的機會實在...不高 config 有問題 機器開始跑的第一天就會知道了 不會等到跑了好一陣子才出現 = = ===================================================== 如果以上的問題都已經處理過了 還是不滿意 那就...花錢買硬體吧 不過擴充硬體實在是個無底洞 @@" 而且效果有限得很... 還有一點很重要 如果說... 你的資料庫TABLE永遠也不會超過 某一個數量(如 100,000 筆) 那...上面有些情況就可以不用考慮了 反正 ... 多做了些工 也感覺不出來快在哪裡 QQ 最後要提到 Performance Tuning 永遠都是很花時間的 需要實際資料量的執行以得到真正的tuning效果 評估永遠是評估 實作完測試後才知道 - 改變後的做法及測試的問題點究竟是不是問題所在 以上如有謬誤 還請各位指點 ^^ --



※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 202.145.230.2
1F:推 drkkimo:你沒提到join呀 不過join要約十萬多筆資料以上才會變慢 07/05 15:33
2F:推 come:join應該包含在schema設計裡面吧 07/05 23:18
3F:推 razor:資料庫管理系統對於查詢有最佳化的實作 07/06 00:24
4F:推 b6s:我想come的意思是,join 光是順序不同也會有影響。 07/06 08:25
5F:推 ppanerai:呵我指的是觀念上比較容易忽略的部分,至於真正的細節 07/06 09:09
6F:推 ppanerai:我想大家都很清楚,應該不用說太詳細 @@ 07/06 09:16







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Gossiping站內搜尋

TOP