作者ctr1 (【積π】)
看板Database
標題[SQL ] 2700萬筆資料做group by
時間Sun Jan 19 22:30:07 2020
資料庫名稱：SQLite3
資料庫版本：最新版本
內容/問題描述：想要把兩千七百多萬筆資料進行group by
但一執行他，sqlite tools就出現沒有回應
不知道是否有更好的處理方法
我想統計每個user_id在每(年,月,日)出現的次數
謝謝了
資料如下
year month day time clftp1 SessionID user user_id
2019 Mar 27 23:21:16 clftp1 ftpd[5376]: USER fXXex
2019 Mar 27 23:21:16 clftp1 ftpd[5379]: USER umX
2019 Mar 27 23:21:17 clftp1 ftpd[5380]: USER umX
2019 Mar 27 23:21:17 clftp1 ftpd[5383]: USER umX
2019 Mar 27 23:21:18 clftp1 ftpd[5385]: USER umX
2019 Mar 27 23:21:18 clftp1 ftpd[5388]: USER umX
2019 Mar 27 23:21:19 clftp1 ftpd[5389]: USER umX
2019 Mar 27 23:21:19 clftp1 ftpd[5392]: USER umX
2019 Mar 27 23:21:20 clftp1 ftpd[5394]: USER umX
2019 Mar 27 23:21:23 clftp1 ftpd[5402]: USER dXX_ft
2019 Mar 27 23:21:45 clftp1 ftpd[5462]: USER sXXXon
2019 Mar 27 23:21:51 clftp1 ftpd[5476]: USER oXXX_m
2019 Mar 27 23:21:59 clftp1 ftpd[5497]: USER sXXXon
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.160.184.119 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Database/M.1579444209.A.68C.html
1F：→ ctr1: 一年份的資料，month 跟 day 都會變 01/19 22:32
2F：→ MOONY135: 一次撈不出來 你可以分次撈 先找出所有user id再撈也行 01/20 07:40
3F：→ MOONY135: 啊 01/20 07:40
4F：推 hhhomerun: 只是要找次數 select 時欄位只用count(xx)也可以降低負 02/26 20:49
5F：→ hhhomerun: 擔 02/26 20:49
6F：推 hmsDEBBIE: 先找出distinct user_id再一一進行每年每月每日的group 03/22 23:47
7F：→ hmsDEBBIE: by 03/22 23:47