作者u9423504 (缘投农夫)
看板java
标题[问题]spring jdbctemplae batchUpdate效能问题
时间Sat Apr 1 22:40:23 2023
各位前辈/大神 好：
目前使用spring boot MVC开发後端web程式，使用jdbctemplate写资料库程式，
用到其batchUpdate方法批次更新5万笔资料，共花了26.443秒，执行效能不是很好，
说明如下：
1.软体版本说明：
spring boot 3.0.2
spring-jdbc 6.0.4
mssql-jdbc 12.2.0
资料库 微软SQL Server 2019 Express
作业系统Windows 10
2.程式码：
StocksRepository.java
仅列出batchUpdate方法的程式码
public void batchUpdate(List<stock> stocks) {
jdbc_template.batchUpdate(
"update stocks set amount = ? where parts_number = ?",
new BatchPreparedStatementSetter() {
public void setValues(PreparedStatement ps,int i)
throws SQLException{
ps.setString(1,stocks.get(i).getAmount());
ps.setString(2,stocks.get(i).getParts_number());
}
public int getBatchSize(){
return stocks.size();
}
}//end BatchPreparedStatementSetter
);//end jdbctemplate batchupdate
}
-----------------------------------------------------------------------
主程式 StocksMagApplication.java
@SpringBootApplication
public class StocksMagApplication implements CommandLineRunner {
@Autowired
StocksRepository stock_res ;
public static void main(String[] args) {
SpringApplication.run(StocksMagApplication.class, args);
}
@Override
public void run(String... args) throws SQLException{
StopWatch timer = new StopWatch();
//捞5万笔资料喂给m_stocks list。
List<stock>m_stocks = stock_res.findX86All();
System.out.println("start update record：update table 50000 record");
timer.start();
stock_res.batchUpdate(m_stocks);//批次更新5万笔资料
timer.stop();
System.out.println("batchUpdate -> Total time in seconds: " +
timer.getTotalTimeSeconds());
}
}
----------------------------------------------------------------
3.效能改善作法：
StocksRepository.java
同样在其batchUpdate方法里：
/*
stocks list里有5万笔资料，每5000笔切为1个子list，共切成10个子list
sublist里共有10个List<stock>。
*/
List<List<stock>> sublist = ListUtils.partition(new
ArrayList<>(stocks),5000);
for(List<stock> m_stocks :sublist) {
jdbc_template.batchUpdate(
.
.
.
程式码实作跟上述相同，不再多述。
);
}
执行结果为25秒多，效能改善不大。
------------------------------------------------------------
4.是否还有其他效能改善的方式，恳请前辈/大神指导，谢谢。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.39.69.66 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/java/M.1680360028.A.FA1.html
※ 编辑: u9423504 (114.39.69.66 台湾), 04/01/2023 22:45:13
※ 编辑: u9423504 (114.39.69.66 台湾), 04/02/2023 08:30:51
※ 编辑: u9423504 (114.39.69.66 台湾), 04/02/2023 08:38:15
1F：→ lycantrope: rewriteBatchedStatements=true 04/02 09:40
2F：→ surimodo: 你最後那个只是把一个大List拆成小List 04/02 12:34
3F：→ surimodo: 又串一起处理 04/02 12:34
4F：→ achaos: parts_number有设定index吗? 04/02 12:48
5F：→ fgh81113: batch你要设定一次处理几笔 04/02 13:50
6F：→ u9423504: database talbe parts_number有设定索引 04/02 14:26
※ 编辑: u9423504 (114.33.57.160 台湾), 04/02/2023 14:29:44
7F：→ u9423504: 回fgh81113：batch是设定5万笔，共花26秒，效能不好。 04/02 14:34
8F：→ achaos: batchUpdate有一个函数可以放batctSize,改成500看看 04/02 16:20
9F：→ achaos: batchSize,我记得建议是设定500~1000 04/02 16:21
10F：→ kentyeh: 建议自己处理commit时机，可考虑每仟笔commit 一次 04/02 21:33
11F：→ fgh81113: 原程式码看起来没甚麽问题 索引也设了 04/03 23:34
12F：→ fgh81113: sql server还有一招 "聚集索引 非聚集索引" 04/03 23:35
13F：→ fgh81113: 但这招可能不是你说想调整就调整的方式 04/03 23:35
14F：推 mybluesky: 请将更新资料放另一暂存表，一次更新原表数据 05/22 23:04
15F：推 sw12: 改r2dbc 06/26 14:36