作者silver8250 ((阿信))
看板java
標題Re: [J2SE]資料庫新增幾萬筆資料
時間Wed Jul 2 21:52:41 2008
請問您的問題有辦法用一條解決所有的問題嗎??
因為如過要用程式全部來解決的話
那請問您使用 DB 的用意只是要來存放 DATA 與純粹 query 嗎??
因為小弟我之前也有碰過類似的問題，是需要從多個 tables 計算薪資
最後將計算出的結果再寫回某個 table
一開始小弟跟您一樣，也是用程式暴力解決，後來發現，SQL其實很強大
我就開始去"兜"SQL語法，結果給我"兜"出一條就可以解決的 SQL
該功能就幾乎以 0.1 秒以下的時間完成我要的工作
我的意見是，您可以考慮 survey SQL，問題就會很輕鬆!!
以上是小弟的淺見~~
※ 引述《slalala (WIKI大學生寫作業的題材)》之銘言：
: 標題雖然是J2SE
: 不過卻是JSP/SERVLET的應用 (￣□￣|||)a
: 因為如果在jsp顯示上會有timeout等等的問題
: 所以有些疑問
: 目前程式流程大概是這樣(程式碼還沒寫 大概寫一下假碼 ，SET不是java.util的Set)
: DO
: SET SQL= SQL Command;
: SET ResultSet = executeQuery(SQL) //從資料庫取資料
: WHILE( ResultSet.next() ) //大概兩萬多筆
: BEGIN
: SET DATA = ResultSet.getData() //從資料庫取得資料
: DATA = DoSomeThing( DATA) //處理資料
: Statement.Insert(DATA ) //新增到資料庫其他欄位
: END
: END
: 以上這樣的程式 我估計 大概要跑個幾分鐘
: 之前的經驗是用批次的方式結果會好很多
: 就假碼WHILE結束之後才執行statment.executeBatch()
: 現在的疑問就是:
: 要是一次兩萬多筆 這些資料在executeBatch之前
: 都暫存在記憶體吧
: 這樣要是資料量很大的時候 不就可能有爆炸的問題?!
: 我現在的想法是
: 在ResulteSet的迴圈內計數
: 當到達特定的mod值(ex:100、1000)
: 就執行executeBatch()與clearBatch()
: 不知道這樣的想法對不對?!
: 還是有更好的作法??
: 另外timeout的問題
: 我是想實作官方網站有教的JProgressBar
: 或者是乾脆寫成Thread
: 將頁面顯示跟SQL執行批次的程序分開
: 不知道這樣可行嗎?
: (只擔心有Thread-safe的問題 我JAVA很多觀念很粗淺ˋ(′_‵||)ˊ)
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.161.146.166
※ 編輯: silver8250 來自: 118.161.146.166 (07/02 21:53)
1F：推 slalala: 如果是薪資計算就簡單多了~_~ 因為裡面包含很多邏輯判斷 07/03 00:43
2F：→ slalala:至乎不是數學式可以的處理 不過我還蠻好奇 純SQL原PO用了 07/03 00:45
3F：→ slalala:哪些特殊的語法? 還是使用SP之類的? 07/03 00:46
4F：推 TonyQ:資料庫也是有if 之類的判斷式可以用 也可以用預儲程序之類 07/03 00:57
5F：推 slalala:就是SP囉(Stored Procedure) 07/03 01:00
6F：推 TonyQ:還是有一些function 可以用啦...不見得只有sp 07/03 01:01
7F：推 slalala:實在跟MYSQL 不熟 要翻翻文件了ORZ 07/03 01:04
8F：→ silver8250:我是用 M$SQL2K 語法方面，就旋轉一下tables 07/03 09:58
9F：→ silver8250:頂多+,-,SUM計算跟CASE判斷囉!!對我來說就夠用了~~ 07/03 10:00
10F：推 Lordaeron:SQL2K比哪個號稱很快的, 和哪個當年跟SQL2K同個老爸的 07/03 11:21
11F：→ Lordaeron:好太多了. 07/03 11:22
12F：→ Lordaeron:哪個號稱很快的, 還會有莫明的key duplicate但照insert 07/03 11:24
13F：→ silver8250:樓上的是說?? 小弟不才，請樓上大大指點~~ 07/03 20:13
14F：推 Lordaeron:簡單的講,就是沒必要,請換postgresql 07/03 20:58
15F：推 Lordaeron:不要用哪個會key duplicate但照insert的. 07/03 21:33
16F：推 slalala:原來只有一些運算子 不過之前聽某教授說MSQL的運算子效能 07/03 21:58
17F：→ silver8250:可惜，老闆不是我~~ 07/03 21:58
18F：→ slalala:沒有比較好 除非一行解決 不然不建議給SQL運算(SP另當別論 07/03 22:00
19F：→ Lordaeron:我的SQL有必要的,都寫個兩三百KB的,一行?不加換行是一行 07/03 22:09
20F：→ Lordaeron:沒錯,但我無法讀一行512bytes的sql. 07/03 22:11
21F：→ Lordaeron:要寫複雜的sql, 還是用PostgreSQL吧. 07/03 22:13
22F：→ slalala:不是不喜歡聽人家推薦 如原PO說的 我不是老闆不能決定什麼 07/03 22:53
23F：→ silver8250:我都盡量用一句SQL就做完，L大的意見不錯，只是離題了~ 07/03 23:07