入库方法修改为多线程,大幅提高入库效率

This commit is contained in:
2025-06-19 21:51:25 +08:00
parent 6268391baf
commit 167c1ec29e
5 changed files with 52 additions and 21 deletions

View File

@@ -2,11 +2,24 @@
# @author <a href="https://github.com/liyupi">程序员鱼皮</a>
# @from <a href="https://yupi.icu">编程导航知识星球</a>
spring:
task:
# Spring 执行器配置,对应 TaskExecutionProperties 配置类。对于 Spring 异步任务,会使用该执行器。
execution:
thread-name-prefix: save-task # 线程池的线程名的前缀。默认为 task- ,建议根据自己应用来设置
pool: # 线程池相关
core-size: 10 # 核心线程数,线程池创建时候初始化的线程数。默认为 8 。
max-size: 20 # 最大线程数,线程池最大的线程数,只有在缓冲队列满了之后,才会申请超过核心线程数的线程。默认为 Integer.MAX_VALUE
keep-alive: 60s # 允许线程的空闲时间,当超过了核心线程之外的线程,在空闲时间到达之后会被销毁。默认为 60 秒
queue-capacity: 200 # 缓冲队列大小,用来缓冲执行任务的队列的大小。默认为 Integer.MAX_VALUE 。
allow-core-thread-timeout: true # 是否允许核心线程超时,即开启线程池的动态增长和缩小。默认为 true 。
shutdown:
await-termination: true # 应用关闭时,是否等待定时任务执行完成。默认为 false ,建议设置为 true
await-termination-period: 60 # 等待任务完成的最大时长,单位为秒。默认为 0 ,根据自己应用来设置
application:
name: springboot-init
# 默认 dev 环境
profiles:
active: prod
active: dev
# 支持 swagger3
mvc:
pathmatch:
@@ -43,15 +56,16 @@ mybatis-plus:
configuration:
map-underscore-to-camel-case: false
log-impl: org.apache.ibatis.logging.nologging.NoLoggingImpl
log-sql:
default-executor-type: batch
global-config:
banner: false
db-config:
logic-delete-field: isDelete # 全局逻辑删除的实体字段名
logic-delete-value: 1 # 逻辑已删除值(默认为 1
logic-not-delete-value: 0 # 逻辑未删除值(默认为 0
# 接口文档配置
knife4j:
enable: true
@@ -80,3 +94,12 @@ sa-token:
token-style: random-128
# 是否输出操作日志
is-log: true
logging:
level:
org.mybatis: off
com.baomidou.mybatisplus: off
java.sql: off
org.apache.ibatis: off
com.yupi.springbootinit.mapper.NewHostsMapper: off # 替换成你的 Mapper 包名