作者xxxx9659 (嘎嘎嘎嘎嘎)
看板Database
標題[請益] 超大data匯入MySQL (總共約 200GB)
時間Fri Dec 11 05:30:02 2009
文章有點長，首先感謝各位大大肯看這篇幫我解決問題
新手發問，有哪裡不對請多包含 @_@
---正題---
因為一些原因，我必須建置一個資料量非常大的database，有個大table姑且叫作tableA
我已經把tableA的data切成許多.sql檔先存在server裡，所有.sql 總共大小80GB
一開始匯入很快，後來越來越慢.越...來......越.........慢..........
tableA的sql現在已經匯入12%
大約算一下，現在每+1% 約要花16.3小時，tableA全好大概要60天
對於這麼多又大的SQL檔有沒有什麼方法加快速度？
有沒有其他解決辦法，請高手幫幫忙 感激不盡
---相關資料---
版本: MySQL v5.0.18
OS: Linux cluster x64
硬碟: 6.9TB (夠裝)
tableA完成12%時 我用phpMyAdmin看tableA大小有23.9GB (資料8.4GB + 索引14.2GB)??
所以預估全好會有200GB
我匯入的方法 把data切成600個sql檔
mysql -u root -p密碼
\. tableA_001.sql
\. tableA_002.sql
\. tableA_003.sql
.
.
.
\. tableA_600.sql
sql檔格式範例
INSERT INTO `tableA` (`read_sn`, `sign`, `genome_sn`, `location`, `type1`,
`loc1`, `type2`, `loc2`) VALUES
(1, '+', 86639, 1133, 'C', 9, 'N', 0),
(1, '-', 86681, 2078, 'G', 26, 'N', 0),
(3, '-', 86702, 34, 'G', 33, 'C', 34),
(4, '-', 86702, 18, 'N', 0, 'N', 0),
(5, '-', 86613, 718, 'C', 23, 'T', 28),
(5, '-', 86702, 2, 'G', 1, 'A', 14),
.
.
.
(167389, '+', 86673, 122235, 'N', 0, 'N', 0);
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 163.25.118.131
1F：推 PsMonkey:看看 MySQL 有什麼能夠 tune 的吧... 不然... 不樂觀 XD 12/11 11:26
2F：推 thieftwo:要不要看實際上系統的 bound 是在那裡呢? 12/11 12:42
3F：推 roga:可能是 Cluster 的 Network IO Bound. Data 太多 / 猜測 12/11 23:55