每秒千万级实时数据处理系统是如何设计的？

“ 闲鱼目前实际生产部署环境越来越复杂，横向依赖各种服务盘根错节，纵向依赖的运行环境也越来越复杂。图片来自 Pexels当服务出现问题的时候，能否及时在海量的数据中定位到问题根因，成为考验闲鱼服务能力的一个严峻挑战。线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动诊断的系统需求就应运而生，而快速诊断的基础是一个高性能的实时数据处理系统。这个实时数据处理系统需要具备如下的能力：数据实时采集、实时分析、复杂计算、分析结果持久化。可以处理多种多样的数据。包含应用日志、主机性能监控指标、调用链路图。高可靠性。系统不出问题且数据不能丢。高性能，低延时。数据处理的延时不超过 ………………………………