作者PsMonkey (痞子军团团长)
看板java
标题Re: [J2SE] 处理大量中文字串
时间Mon Mar 5 06:55:41 2007
※ 引述《slalala (用BBS修电脑~Orz)》之铭言:
: 我现在要做一个程式
: 必须要读取.txt档案 一个档案约150多MB(我没豪洨/ \我也很难过><)
: 内容是
: 把程式里面相关文章断词塞选出来 存入资料库(大概结果会超过2万笔资料)
断词阿... [远目]
可以问一下 java 有哪些(中文)断词 library 吗?
(目前只有听说 PATTerm 这个... 而且用法不明 Orz)
: 想请问 我知道我不该把资料通通存入String
: 但是如果真要这样做可行吗?(我尝试过会ERROR)
: 有办法加大Catch让String读入150多MB吗(._.?)
不是加大
cache,而是增加 JVM 的记忆体大小
指令是执行时候下
java -xmx
不过... 这个方法应该是治标不治本
一般的文章应该是有段落的
所以用 BufferedReader.readLine()
然後依照你文件的格式,去拼出一个段落,把这个段落另存档案
最後再分别 load 这些档案进去断词
这样应该比较好(不过没 try 过,纯嘴炮 [逃])
: 请问有什麽function能一次 慢慢让软体去处理这麽大的档案呢?
: 另外问一下ArrayList有长度限制吗?
--
侃侃长论鲜窒碍 首页:
http://www.psmonkey.idv.tw
众目睽睽无心颤 Blog:
http://ps-think.blogspot.com
茕居少聊常人事
杀头容易告白难 欢迎参观 Java 版(@ptt.cc) \囧/
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 61.228.195.84