SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测！
前言 开发目的： 提高百万级数据插入效率。 采取方案： 利用threadpooltaskexecutor多线程批量插入。 采用技术： springboot2.1.1+mybatisplus3.0.6+swagger2.5.0+lombok1.18.4+postgresql+threadpooltaskexecutor等。 基于 spring boot + mybatis plus + vue & element 实现的后台管理系统 + 用户小程序，支持 rbac 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
项目地址：https://gitee.com/zhijiantianya/ruoyi-vue-pro 视频教程：https://doc.iocoder.cn/video/ 具体实现细节 application-dev.properties添加线程池配置信息 > 基于 spring cloud alibaba + gateway + nacos + rocketmq + vue & element 实现的后台管理系统 + 用户小程序，支持 rbac 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能>> * 项目地址：> * 视频教程：# 异步线程配置# 配置核心线程数async.executor.thread.core_pool_size = 30# 配置最大线程数async.executor.thread.max_pool_size = 30# 配置队列大小async.executor.thread.queue_capacity = 99988# 配置线程池中的线程的名称前缀async.executor.thread.name.prefix = async-importdb- spring容器注入线程池bean对象 @configuration @enableasync @slf4j public class executorconfig { @value(${async.executor.thread.core_pool_size}) private int corepoolsize; @value(${async.executor.thread.max_pool_size}) private int maxpoolsize; @value(${async.executor.thread.queue_capacity}) private int queuecapacity; @value(${async.executor.thread.name.prefix}) private string nameprefix; @bean(name = asyncserviceexecutor) public executor asyncserviceexecutor() { log.warn(start asyncserviceexecutor); //在这里修改 threadpooltaskexecutor executor = new visiablethreadpooltaskexecutor(); //配置核心线程数 executor.setcorepoolsize(corepoolsize); //配置最大线程数 executor.setmaxpoolsize(maxpoolsize); //配置队列大小 executor.setqueuecapacity(queuecapacity); //配置线程池中的线程的名称前缀 executor.setthreadnameprefix(nameprefix); // rejection-policy：当pool已经达到max size的时候，如何处理新任务 // caller_runs：不在新线程中执行任务，而是有调用者所在的线程来执行 executor.setrejectedexecutionhandler(new threadpoolexecutor.callerrunspolicy()); //执行初始化 executor.initialize(); return executor; }} 创建异步线程 业务类 @service@slf4jpublic class asyncserviceimpl implements asyncservice {@override @async(asyncserviceexecutor) public void executeasync(list logoutputresults, logoutputresultmapper logoutputresultmapper, countdownlatch countdownlatch) { try{ log.warn(start executeasync); //异步线程要做的事情 logoutputresultmapper.addlogoutputresultbatch(logoutputresults); log.warn(end executeasync); }finally { countdownlatch.countdown();// 很关键, 无论上面程序是否异常必须执行countdown,否则await无法释放 } }} 创建多线程批量插入具体业务方法 @override public int testmultithread() { list logoutputresults = gettestdata(); //测试每100条数据插入开一个线程 list lists = converthandler.splitlist(logoutputresults, 100); countdownlatch countdownlatch = new countdownlatch(lists.size()); for (list listsub:lists) { asyncservice.executeasync(listsub, logoutputresultmapper,countdownlatch); } try { countdownlatch.await(); //保证之前的所有的线程都执行完成，才会走下面的； // 这样就可以在下面拿到所有线程执行完的集合结果 } catch (exception e) { log.error(阻塞异常:+e.getmessage()); } return logoutputresults.size(); } 模拟2000003 条数据进行测试 多线程 测试 2000003 耗时如下：耗时1.67分钟
本次开启30个线程，截图如下：
单线程测试2000003 耗时如下：耗时5.75分钟
检查多线程入库的数据，检查是否存在重复入库的问题： 根据id分组，查看是否有id重复的数据，通过sql语句检查，没有发现重复入库的问题
检查数据完整性：通过sql语句查询，多线程录入数据完整
测试结果 不同线程数测试：
总结 通过以上测试案列，同样是导入2000003 条数据，多线程耗时1.67分钟，单线程耗时5.75分钟。通过对不同线程数的测试，发现不是线程数越多越好，具体多少合适，网上有一个不成文的算法：
cpu核心数量*2 +2 个线程。
附：测试电脑配置
微软云Azure赋能EDA,释放芯片设计上云潜能
一位女程序员的四年工作感悟
为物联网更新软件应该这样干
一种用于高精度ADC片上测试的信号发生器
三星： 手里黑科技多的是 但我低调 我不说
SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测！
动力电池时代：新龙浩氦检杜绝电池泄漏
三星Galaxy S20系列高清图集
变频器的试验类型有哪些
带你深入了解调制器的特性与应用
性能提升需求下的锂电材料升级
短视频系统和直播系统哪个更有“钱途
瓦努阿图正式成立瓦努阿图国家数字货币研究所
神奇的4D打印：物体可完成自我组装
依图医疗儿童骨龄AI三类证获NMPA批准
瑞萨电子推出超35款全新MCU产品 拓展电机控制嵌入式处理产品阵容
变频器和软启动器的联系和区别，总算有工程师讲清楚了
苹果称霸全球穿戴市场 传新一代Apple Watch 3或于今年第3季正式上市
那些意欲取代C++的编程语言，成功了吗？
提前布局，威迈斯IPO上市助推公司实现新跨越
项目地址：https://gitee.com/zhijiantianya/ruoyi-vue-pro 视频教程：https://doc.iocoder.cn/video/ 具体实现细节 application-dev.properties添加线程池配置信息 > 基于 spring cloud alibaba + gateway + nacos + rocketmq + vue & element 实现的后台管理系统 + 用户小程序，支持 rbac 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能>> * 项目地址：> * 视频教程：# 异步线程配置# 配置核心线程数async.executor.thread.core_pool_size = 30# 配置最大线程数async.executor.thread.max_pool_size = 30# 配置队列大小async.executor.thread.queue_capacity = 99988# 配置线程池中的线程的名称前缀async.executor.thread.name.prefix = async-importdb- spring容器注入线程池bean对象 @configuration @enableasync @slf4j public class executorconfig { @value(${async.executor.thread.core_pool_size}) private int corepoolsize; @value(${async.executor.thread.max_pool_size}) private int maxpoolsize; @value(${async.executor.thread.queue_capacity}) private int queuecapacity; @value(${async.executor.thread.name.prefix}) private string nameprefix; @bean(name = asyncserviceexecutor) public executor asyncserviceexecutor() { log.warn(start asyncserviceexecutor); //在这里修改 threadpooltaskexecutor executor = new visiablethreadpooltaskexecutor(); //配置核心线程数 executor.setcorepoolsize(corepoolsize); //配置最大线程数 executor.setmaxpoolsize(maxpoolsize); //配置队列大小 executor.setqueuecapacity(queuecapacity); //配置线程池中的线程的名称前缀 executor.setthreadnameprefix(nameprefix); // rejection-policy：当pool已经达到max size的时候，如何处理新任务 // caller_runs：不在新线程中执行任务，而是有调用者所在的线程来执行 executor.setrejectedexecutionhandler(new threadpoolexecutor.callerrunspolicy()); //执行初始化 executor.initialize(); return executor; }} 创建异步线程 业务类 @service@slf4jpublic class asyncserviceimpl implements asyncservice {@override @async(asyncserviceexecutor) public void executeasync(list logoutputresults, logoutputresultmapper logoutputresultmapper, countdownlatch countdownlatch) { try{ log.warn(start executeasync); //异步线程要做的事情 logoutputresultmapper.addlogoutputresultbatch(logoutputresults); log.warn(end executeasync); }finally { countdownlatch.countdown();// 很关键, 无论上面程序是否异常必须执行countdown,否则await无法释放 } }} 创建多线程批量插入具体业务方法 @override public int testmultithread() { list logoutputresults = gettestdata(); //测试每100条数据插入开一个线程 list lists = converthandler.splitlist(logoutputresults, 100); countdownlatch countdownlatch = new countdownlatch(lists.size()); for (list listsub:lists) { asyncservice.executeasync(listsub, logoutputresultmapper,countdownlatch); } try { countdownlatch.await(); //保证之前的所有的线程都执行完成，才会走下面的； // 这样就可以在下面拿到所有线程执行完的集合结果 } catch (exception e) { log.error(阻塞异常:+e.getmessage()); } return logoutputresults.size(); } 模拟2000003 条数据进行测试 多线程 测试 2000003 耗时如下：耗时1.67分钟
本次开启30个线程，截图如下：
单线程测试2000003 耗时如下：耗时5.75分钟
检查多线程入库的数据，检查是否存在重复入库的问题： 根据id分组，查看是否有id重复的数据，通过sql语句检查，没有发现重复入库的问题
检查数据完整性：通过sql语句查询，多线程录入数据完整
测试结果 不同线程数测试：
总结 通过以上测试案列，同样是导入2000003 条数据，多线程耗时1.67分钟，单线程耗时5.75分钟。通过对不同线程数的测试，发现不是线程数越多越好，具体多少合适，网上有一个不成文的算法：
cpu核心数量*2 +2 个线程。
附：测试电脑配置
微软云Azure赋能EDA,释放芯片设计上云潜能
一位女程序员的四年工作感悟
为物联网更新软件应该这样干
一种用于高精度ADC片上测试的信号发生器
三星： 手里黑科技多的是 但我低调 我不说
SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测！
动力电池时代：新龙浩氦检杜绝电池泄漏
三星Galaxy S20系列高清图集
变频器的试验类型有哪些
带你深入了解调制器的特性与应用
性能提升需求下的锂电材料升级
短视频系统和直播系统哪个更有“钱途
瓦努阿图正式成立瓦努阿图国家数字货币研究所
神奇的4D打印：物体可完成自我组装
依图医疗儿童骨龄AI三类证获NMPA批准
瑞萨电子推出超35款全新MCU产品 拓展电机控制嵌入式处理产品阵容
变频器和软启动器的联系和区别，总算有工程师讲清楚了
苹果称霸全球穿戴市场 传新一代Apple Watch 3或于今年第3季正式上市
那些意欲取代C++的编程语言，成功了吗？
提前布局，威迈斯IPO上市助推公司实现新跨越