EXCEL导入—设计与思考

文章预览

一、案例信息与设计 1.1、案例需求与背景 B2BTC同城二期有一个Excel导入的功能，单次数据量小于一千，使用频次不高。但涉及到多个字段组成唯一约束，即每条数据操作时要根据唯一性组合字段来操作，要确保数据表中的数据不违反唯一性。 每条数据涉及到多次查询其他业务RPC来校验、补充信息的诉求，即使有缓存，但也可能涉及到缓存不命中问题，即单条数据的校验和导入的时效性保障不了。 1.2、整体解决方案 以下四个方案为开发过程中依次思考的四个方案，没有绝对利弊。 1.2.1、初始构思开发方案（同步导入） 首先想到的方案为常用的同步导入，即在一台容器的一个线程中完成Excel中数据的解析、校验、导入、发送通知消息三部分流程。 问题： 1.当数据量过大时，在单台服务器上操作时对服务器造成比较大的内存压力。 2.流程比较长，每条 ………………………………