作者clubflymf (clubfly)
看板Database
標題Re: [SQL ] 大量刪除資料的問題
時間Tue Jun 9 16:48:30 2009
硬是要用 sql 做出來的話...
似乎有一點難度..
$sql = "select id,
url_id
from url_detail_history
where url_id in (
select url_id
from fx01
group by url_id
having count(*) > 1500
)
order by url_id,id"
這可以直接抓出您想刪的資料群組
您再將他用程式處理
如
$rs = mysql_query($sql);
$sv = '';
while ($ar = mysql_fetch_array($rs)){
if ($sv != $ar['url_id']){
$i=1;
} else {
$i++;
if ( $i < 1500 ){
$del = "delete from url_detail_history
where id = '".$ar['id']."' ";
mysql_query($del);
}
}
$sv = $ar['url_id'];
}
不過子查詢 對 server 小吃力就是了...
當然也是可以加速
不過會偏向程式直接算
如
$sql = "select count(*) , url_id
from url_detail_history
group by url_id
having count(*) > 1500 ";
$rs = mysql_query($sql); //先抓出那些是異常群組
while ( $ar = mysql_fetch_array($rs)){
$sql2 = " select id , url_id
from url_detail_history
where url_id='".$ar['url_id']."' "
$rs2 = mysql_query($sql2);
$i = 0;
while ( $ar2 = mysql_fetch_array($rs2)){
$i++;
if ( $i < 1500 ){
$a[$ar2['id']] = 'X';
}
}
}
//刪除錯誤資料
foreach ($a as $key => $val){
$del = "delete from url_detial_history
where id = '".$key."' ";
mysql_query($del);
}
大概就這樣子了...@@
※ 引述《roga (凝視)》之銘言：
: 環境介紹：使用 DB 是 MySQL
: 資料表結構：
: url_detail_history 資料表
: +--------------+---------------------+------+
: | Field | Type | Null |
: +--------------+---------------------+------+
: | id | bigint(11) unsigned | NO | -> 有 Auto_increment
: | url_id | int(11) | NO |
: | visitor_ip | varchar(15) | NO |
: | visitor_fqdn | varchar(100) | NO |
: | visitor_time | timestamp | NO | -> CURRENT_TIMESTAMP
: +--------------+---------------------+------+
: 現在裡面有許多筆資料，
: SELECT COUNT(id), url_id from url_detail_history GROUP BY url_id
: 這句語法可以得知每個 url_id 有幾筆資料。
: 因為前幾天程式上的疏忽，小弟寫錯了一些地方，
: 以至於資料表非常龐大，我想請問板上前輩們，
: 有沒有辦法直接用 SQL 語法執行，每個 url_id 只要總數
: 超過 N 筆資料就刪除到只剩下 N 筆為止，
: 當然， id 越大代表資料越新，必須能從小的 id 開始刪起。
: 我有寫一段程式來跑但是效能不彰，
: loading 飆到 100 多，拉牛上樹慘不忍睹..
: foreach( $url_id ) {
: do {
: $ID = SELECT min(id) FROM table WHERE url_id = $url_id
: $COUNT = (再從資料表算 url_id 有幾筆)
: DELETE FROM table where id = $ID
: } while( $COUNT < 1501)
: }
: 這樣作法效能很差，不想這麼暴力解這個問題，
: 想請教前輩不知道有沒有比較好的辦法...謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.32.116.173
※ 編輯: clubflymf 來自: 114.32.116.173 (06/09 16:53)
※ 編輯: clubflymf 來自: 114.32.116.173 (06/09 16:54)