作者sean72 (.)
看板Soft_Job
标题[请益] rds replication & cache 多问
时间Thu Aug 2 14:19:28 2018
问题一
如果使用memcache
写db的时候
1. 先invalidate cache 再写db
2. 先写db 再invaludate cache
3. update cache 然後 update db
4. update db 然後 update cache
我以为这个动作有标准做法,但是问了在亚马和snapchat的朋友
也看了几个tech talk 竟然答案不同,请问大家怎麽分析?
我上了一个网路课程的课,他说2是最佳解
case3 & 4 如果某一个update fail都会造成cache里面脏数据的情况
case1:
user1 invalidate cache, while updating db(未完成)
user2 此时读资料,cache miss,去读资料库,得到旧数据,
并用旧数据update cache
user1 完成db更新
此时cache存着旧数据,db新数据,cache脏数据
case2:
user1 update db (未完成)
user2 此时读资料,在cache读了旧资料,离开
user1 finish db and update cache
以後的user都可以读到最新数据,只有user2读了旧数据,但仅只一次,无伤大雅
问题二
还有一个问题,关於db consistency
如果用relational db, such as MySQL , Master Slave
write to master,
read from slave
写到master之後(假设user update一个url link),并且invalid cache
这时候replication还没完成,假设有5秒的延迟
这个时候如果来了一个read,cache miss
按照逻辑,这时候应该slave read , 但这时候slave data是旧的
那我的client要怎麽处理?
reddit founder 他说当初他们碰到这情况
很多slave里面的link都是404 very bad user experience
所以他写db的时候,同时写到cache
https://youtu.be/cDL7ny_hvio?t=50s
但如果同时写DB & cache 如果其中一个操作失败了,那就造成脏数据了,不是吗?
又如果
我采用问题一的方式 先写db 然後invalidate cache,
write to master db , 5 sec replication time
这时候一个read进来, cache miss, read from slave取得旧数据
顺便update cache
五秒後slave完成replica,但这时候也造成了数据不一致。
replication latency的问题该怎麽解决呢?
感谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 172.89.32.145
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1533190771.A.429.html
1F:→ meowyih: 我不是搞资料库的, 不过我有认真看了一遍这篇文章, 唯一 08/02 21:05
2F:→ meowyih: 的疑问是所有的问题都建立在 "cache 机制无法暂时关闭, 08/02 21:06
3F:→ meowyih: 开了就开了" 的前题下。但是为什麽不能暂时关闭? 都能整 08/02 21:07
4F:→ meowyih: 个砍掉了, 写个判断机制让自己後端暂时停止 cache 直到 08/02 21:07
5F:→ meowyih: 资料库更新完 (像 q1, case 1) 不就好了? 都能整个砍掉了 08/02 21:08
6F:→ meowyih: 暂时停止没差吧 08/02 21:08
7F:→ meowyih: 所谓的 "暂时停止" 指的是不让人读取 cache, 当 cache 不 08/02 21:09
8F:→ meowyih: 存在的意思 08/02 21:09
9F:→ x000032001: 假设cache每秒可处理10k req db每秒只有2k req 08/02 21:28
10F:推 youtuuube000: 想了解+1 08/02 21:29
11F:→ x000032001: 把资料放在cache的目的是避免大量req直接打db 读资料 08/02 21:29
12F:→ x000032001: 一旦在更新时disable cache, req灌进db 那就失去用 08/02 21:30
13F:→ x000032001: cache缓解req的用意了 08/02 21:31
14F:→ x000032001: 我觉得你的问题其实把 Scaling Memcache at Facebook 08/02 21:47
15F:→ x000032001: 看一看就自然知道惹 08/02 21:47
16F:→ keyut2433: post request的同时给cookie,告诉dns这几秒内的get会 08/03 05:33
17F:→ keyut2433: 送到master拿最新的data, 等cookie过期时再转到slave 08/03 05:34
18F:推 x000032001: 其他user因为不可能set的到他的cookie所以还是会从sl 08/03 09:07
19F:→ x000032001: ave拿到old value 08/03 09:07
20F:推 keyut2433: 你没错.那只能让slave抓masterDB的资料了.. 感谢 08/03 10:48
21F:→ twntwn: 若需要Strict Relication Consitency 的Query,从master拿 08/05 23:26
22F:→ twntwn: 其它的可以从Slave拿. 08/05 23:26