作者chatmonkey (打屁猴)
看板Database
标题Re: [SQL ] insert TB1 to TB2的问题
时间Sun Apr 24 17:18:10 2016
※ 引述《renmax (竹科学友哥)》之铭言:
: 各位版友好
学友哥你好
: 有两个Table1和Table2如下:
: Table1 Table2
: id daily_points id SUM_point
: ---------------------- --------------------
: 1 55 1
: 2 66 2
: 3 77 3
: 1 11 4
: 2 22 5
: 3 33 6
: 现在想把Table1相同id的daily_points都相加起来
: 接着丢到Table2的SUM_point (两个Table的id是相同的)
: 因此得到的结果如下:
: Table2
: id SUM_point
: --------------------
: 1 66
: 2 88
: 3 110
: 4 0
: 5 0
: 6 0
: 请问语法该怎麽下会比较恰当呢?
: 麻烦了,谢谢
我觉得这个问题可大可小,看你的需求。
首先,如果你Table1的资料量不大,其实你不需要Table2,
当你的前端或application level需要summary data的时候,直接从Table1捞就好
select id, sum(daily_point) as SUM_point from Table1
group by id
但是如果你的资料量很大,直接从Table1捞会很花时间的话,
才需要考虑用Table2来存summary data。
这时候问题就会变得比较富杂,因为你需要考虑做summarize的频率,
也许要写个schedaule job来做summarize,然後考虑2种summarize的作法:
A. 每次做summarize的时候总是truncate Table2,
然後再把Table1的所有data都summrize到Table2过去
B. 不truncate Table2,每次做summarize的时候必须有watermark,
来纪录Table1上次summarize到哪一笔,然後再判断要insert还是update Table2
2个方法各有优缺点,
方法A:比较简单,但是会在truncate Table2之後,insert Table2之前
会有一个瞬间,前端或application会捞不到Table2中的资料。
(会需要其他方法来解决这个问题,比方说用2个Table2,前端捞data时再switch)
方法B:比较复杂,速度会比较慢。
你必须考虑watermark的机制以及一次做summarize的batch size。
并且处理以下各种scenario:
1. 当要summarize Table1,但Table1中没有资料新增时。
2. 当有人truncate Table1後,要记得reset watermark。
3. 当id已存在Table2中时要update,当id不存在Table2中时要insert。
4. 当Table1有新的资料进来,但schedule summarize到Table2的时间还没到
会造成UI呈现Table1和Table2中的data不sync。
5. 当资料量大到需要对Table1做purge时,必须同时考虑purge Table2,
必须考虑同时purge Table2,以免造成Table1和Table2的data不sync...
要使用哪个方法就看你的资料量和需求罗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.115.214.56
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Database/M.1461489492.A.D31.html
※ 编辑: chatmonkey (59.115.214.56), 04/24/2016 17:20:52