Database 板


LINE

大家好,我是一个sql学龄3个月的新手,最近因为工作需求 需要从两个mysql伺服器捞取资料来计算报表,目前因为赶 时间,先用了简单的语法做完,但日後资料量变更多应该会 变很慢,所以想跟大家请教比较有效率的方法。 1. DB架构 目前主要用到的DB分在两台机器上,一台存log (玩家uid, 货类型,货币增销量,时间戳,etc)约有300万笔资料、一台存 玩家资讯(玩家uid,创角时间,等级,最後上线,etc),约3万笔资 料,常用的table都有建索引了。然後两台DB跟正在开发的报 表後台都在同一个内网。 2. 需求与目前作法 目前我的需求是取出某时段内创角的玩家(有时会换成时段 内还有上线的玩家)的货币增销统计。 而我目前因为时间有限,先用最简单的方法做: (1)把目标uid捞出来 SELECT GROUP_CONCAT(QUOTE(playerdb.player.uid)) FROM playerDB.player WHERE created_at >= time1 AND created_at < time2 (2)把这串uid用c#串成sql指令到log DB捞资料 SELECT uid, currency_type, SUM(value) FROM logDB.log.currency_log WHRERE uid IN (一长串uid) AND currency_type = n GROUP BY uid 3. 我的问题 之前有过几次经验,当我用where not in 语法筛选资料时, 如果not in 里面的条件太多就会跑很久,有时会久到被中断 连线(但where in 还没遇过,我也不太确定),所以有点 怕游戏正式对外开放时我的查询会崩溃。 之前问过DBA同事,他们说可以用inner join的话会比where 好,但资料分散在两台机器上,我没办法直接做join。为了 join我还试过用transaction 在logDB开temporary table,用 Dapper(.NET一个评价颇高的ORM套件)把捞到的uid insert 到这个暂存表,但光insert 150多笔资料就花了7秒...所以只 好放弃。想请问各位前辈,在我这种状况下,该如何提升我 的查询效能,以应付将来更大的资料量?恳请各位指点,谢 谢!手机排版,如果有点凌乱请见谅。 ----- Sent from JPTT on my iPhone --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.136.196.69
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Database/M.1536381279.A.B5D.html
1F:→ retsamsu: Google MySQL federated engine 可像存取本地端的 tab 09/08 13:13
2F:→ retsamsu: le 一样存取远端 table 09/08 13:13
3F:→ funnytseric: 原来还有这样的方法啊,谢谢,我去google一下 09/08 14:03







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:BabyMother站内搜寻

TOP