作者penguin0322 (陆哥1/17记得共同101考本)
看板java
标题[问题] 用java处理巨大文件
时间Fri Jul 20 16:57:09 2007
现在由於学校要用到
需要把一些很大的生物资料放进MySQL的资料库中
而这也是我第一次用跟学java和MySQL 冏rz..
>JCVI_SCAF_1101669000001 /length=1071 /full_length=1071
/assembly=JCVI_ASM_feb03_2005_GS-02
ATTCTTATTTATGATCTAGATGTGCATCAAGGTGATGGTACTGCGAAAATTTTTGAAAATAATGATCAGGTGTATACTTT
............(中间省略)
GGATCCAGCATCAAACACTCTAGGCTGGAGATGGGTGGCAGGTCTTCATACCAAGGGGAAGCATTATCTAGCTTCCGAAT
GGATATAATAAATCTCCGCTAAAAGTATGAG
我原本的想法是MySQL load data的时候是用\n\t来分隔资料
而我的资料不是格式都相同
所以原本打算用java来做资料的转换
JCVI_SCAF_1101669000000 length=840 full_length=840 assembly=JCVI_ASM_feb03_2005_GS-02
AATACACCTTATGCAGATATCGCTTCTTCTAATTTTGCAAACAAAAGATTGAGTTCGTTTTATTTAGGCGGGATTA...
这样资料就都是变成以tab和换行来表示了 MySQL也就可以作输入的动作了
但是 以上都是我用一个小数据测试的结果
当我要实作时 我的资料是4.5GB...冏rz
跑了三四个小时 最後出现
java.lang.OutOfMemoryError 冏..
--
好像po太长了
怕各位强者看得不耐烦
我的code在下一篇 ^^
--
btw 档案的输入方法其实原本就有个格式
老师说那是一种生物用的格式
叫fasta
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.109.57.40
※ 编辑: penguin0322 来自: 140.109.57.40 (07/20 17:07)