专栏名称: 架构师之路
架构师之路,坚持撰写接地气的架构文章
目录
相关文章推荐
高可用架构  ·  干货 | ...·  1 周前  
今天看啥  ›  专栏  ›  架构师之路

处理亿级数据的“定时任务”,如何缩短执行时间?

架构师之路  · 公众号  · 架构  · 2019-08-16 19:15
继续答水友提问。问题抽象:(1)用户会员系统;(2)用户会有分数流水,每个月要做一次分数统计,对不同分数等级的会员做不同业务处理; 数据假设:(1)假设用户在100w级别;(2)假设用户日均1条流水,也就是说日增流水数据量在100W级别,月新增流水在3kW级别,3个月流水数据量在亿级别; 常见解决方案:用一个定时任务,每个月的第一天计算一次。//(1)查询出所有用户uids[] = select uid from t_user;//(2)遍历每个用户foreach $uid in uids[]{         //(3)查询用户3个月内分数流水         scores[]= select score from t_flow                   where uid=$uid and time=[3个月内];         //(4)遍历分数流水         foreach $score in scores[]{                   //(5) ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照