作者sunlights (sunlights)
看板PHP
標題Re: [請益] 用PHP做運算 還是用MYSQL做運算 ?
時間Sun Nov 4 23:11:08 2012
※ 引述《sunlights (sunlights)》之銘言：
: ※ 引述《jl844032 (湖藍者)》之銘言：
: : 如題
: : 想請問版上大德們
: : 一個PHP想要從MYSQL拉資料後 再用PHP做運算比較好
: : 還是在MYSQL做完運算後 傳回來PHP比較好
: : 關於效能方面 哪個方式會比較好?
: 大家都覺得用MYSQL做運算好..
: 可是我告訴大家一個實情..
: 當資料在3萬筆以上..sql的速度會奇慘無比
: 反而是php雖然也是要等待..但比起sql真是好太多了..
: 這是我的經驗..
: 所以我覺得..資料庫的軟體真的尚待努力
當時的環境是mssql
(mysql我沒有測過..但是當時資料筆數大概快5萬筆..現在己經10幾快20萬)
A表放的是調查者的姓名和姓別,B放填寫統計表的項目(共有20筆複選)
分別以b1,b2,b3...b20個欄位代表,欄位型態tinyint,有選為1,沒有選為0
要做出
b1 b2 b3............b20
---------------------------------------
男
女
那時是用
select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b1=1
select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b1=1
select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b2=1
select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b2=1
......
select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b20=1
select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b20=1
pid是帳號
結果跑到快吐血..
後來直接select index 欄位用php去run 才OK
我現在都找不到用sql解決的方法..
歡迎大家嘗試..
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 111.240.25.155
※ 編輯: sunlights 來自: 111.240.25.155 (11/04 23:13)
1F：推 LPH66:5 萬筆 * 40 次 query = 總計看過 200 萬資料行... 11/04 23:27
2F：→ LPH66:我會想用 select sum(b.b1),sum(b.b2),... 11/04 23:28
3F：→ LPH66:然後出來會得到一筆 20 個欄位的資料就是輸出表格的一列 11/04 23:29
4F：→ LPH66:這樣只有兩次 query 應該會好很多... 11/04 23:29
5F：→ LPH66:這個方法也是考慮到 join 的效率問題才讓 join 次數越少越好 11/04 23:30
6F：→ sunlights:但是怎麼關聯到A的sex呢?? 11/04 23:33
7F：推 LPH66:跟你一樣的 join 啊 只是不用 and b.b1=1 11/04 23:37
8F：→ LPH66:where A.sex='F' 一次 where A.sex='M' 一次 共兩次query 11/04 23:37
9F：→ sunlights:很棒..但是如果遇到值不是只有0,1..還有2,3,4...甚至是 11/04 23:41
10F：→ sunlights:文字的話..是否也無解呢?? 11/04 23:41
11F：→ sunlights:對了..雖然我剛說很棒..但我實際去測6萬筆資料和6個複選 11/04 23:47
12F：→ sunlights:欄位..只查男生 sex='M' 也要29秒..3萬筆資料用17秒跑完 11/04 23:49
13F：→ sunlights:如果是20個複選欄位可能更多.. 11/04 23:50
14F：→ sunlights:如果A表格的查詢欄位從sex改成city(台北,台中,高雄..) 11/04 23:51
15F：→ sunlights:可能也會查29X10(假設只有10個城市)=290秒=4.5分 11/04 23:52
16F：→ sunlights:但要統計的選項愈多..就會愈慢..這點php跑的速度就超越 11/04 23:53
17F：→ sunlights:這應該就是inav大的切身之痛吧. 11/04 23:54
18F：推 cjoe:b.pid, A.sex, b.b1等等欄位都有做索引嗎? 11/04 23:59
19F：→ sunlights:都要做索引嗎??那大概全部的欄位都要加索引了..這樣OK嗎 11/05 00:25
20F：→ qwertmn:b1 b2 b3...b20..這些欄位都沒有關連性ˇˇ 11/05 03:49
21F：→ qwertmn:硬是join 20次- -"" 我會用Union..把資料串接起來.. 11/05 03:52