作者u9423504 (緣投農夫)
看板java
標題[問題]spring jdbctemplae batchUpdate效能問題
時間Sat Apr 1 22:40:23 2023
各位前輩/大神 好：
目前使用spring boot MVC開發後端web程式，使用jdbctemplate寫資料庫程式，
用到其batchUpdate方法批次更新5萬筆資料，共花了26.443秒，執行效能不是很好，
說明如下：
1.軟體版本說明：
spring boot 3.0.2
spring-jdbc 6.0.4
mssql-jdbc 12.2.0
資料庫 微軟SQL Server 2019 Express
作業系統Windows 10
2.程式碼：
StocksRepository.java
僅列出batchUpdate方法的程式碼
public void batchUpdate(List<stock> stocks) {
jdbc_template.batchUpdate(
"update stocks set amount = ? where parts_number = ?",
new BatchPreparedStatementSetter() {
public void setValues(PreparedStatement ps,int i)
throws SQLException{
ps.setString(1,stocks.get(i).getAmount());
ps.setString(2,stocks.get(i).getParts_number());
}
public int getBatchSize(){
return stocks.size();
}
}//end BatchPreparedStatementSetter
);//end jdbctemplate batchupdate
}
-----------------------------------------------------------------------
主程式 StocksMagApplication.java
@SpringBootApplication
public class StocksMagApplication implements CommandLineRunner {
@Autowired
StocksRepository stock_res ;
public static void main(String[] args) {
SpringApplication.run(StocksMagApplication.class, args);
}
@Override
public void run(String... args) throws SQLException{
StopWatch timer = new StopWatch();
//撈5萬筆資料餵給m_stocks list。
List<stock>m_stocks = stock_res.findX86All();
System.out.println("start update record：update table 50000 record");
timer.start();
stock_res.batchUpdate(m_stocks);//批次更新5萬筆資料
timer.stop();
System.out.println("batchUpdate -> Total time in seconds: " +
timer.getTotalTimeSeconds());
}
}
----------------------------------------------------------------
3.效能改善作法：
StocksRepository.java
同樣在其batchUpdate方法裡：
/*
stocks list裡有5萬筆資料，每5000筆切為1個子list，共切成10個子list
sublist裡共有10個List<stock>。
*/
List<List<stock>> sublist = ListUtils.partition(new
ArrayList<>(stocks),5000);
for(List<stock> m_stocks :sublist) {
jdbc_template.batchUpdate(
.
.
.
程式碼實作跟上述相同，不再多述。
);
}
執行結果為25秒多，效能改善不大。
------------------------------------------------------------
4.是否還有其他效能改善的方式，懇請前輩/大神指導，謝謝。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.39.69.66 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/java/M.1680360028.A.FA1.html
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/01/2023 22:45:13
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:30:51
※ 編輯: u9423504 (114.39.69.66 臺灣), 04/02/2023 08:38:15
1F：→ lycantrope: rewriteBatchedStatements=true 04/02 09:40
2F：→ surimodo: 你最後那個只是把一個大List拆成小List 04/02 12:34
3F：→ surimodo: 又串一起處理 04/02 12:34
4F：→ achaos: parts_number有設定index嗎? 04/02 12:48
5F：→ fgh81113: batch你要設定一次處理幾筆 04/02 13:50
6F：→ u9423504: database talbe parts_number有設定索引 04/02 14:26
※ 編輯: u9423504 (114.33.57.160 臺灣), 04/02/2023 14:29:44
7F：→ u9423504: 回fgh81113：batch是設定5萬筆，共花26秒，效能不好。 04/02 14:34
8F：→ achaos: batchUpdate有一個函數可以放batctSize,改成500看看 04/02 16:20
9F：→ achaos: batchSize,我記得建議是設定500~1000 04/02 16:21
10F：→ kentyeh: 建議自己處理commit時機，可考慮每仟筆commit 一次 04/02 21:33
11F：→ fgh81113: 原程式碼看起來沒甚麼問題 索引也設了 04/03 23:34
12F：→ fgh81113: sql server還有一招 "聚集索引 非聚集索引" 04/03 23:35
13F：→ fgh81113: 但這招可能不是你說想調整就調整的方式 04/03 23:35
14F：推 mybluesky: 請將更新資料放另一暫存表，一次更新原表數據 05/22 23:04
15F：推 sw12: 改r2dbc 06/26 14:36