作者slalala (用BBS修电脑~Orz)
看板java
标题Re: [J2SE] 处理大量中文字串
时间Mon Mar 5 16:26:10 2007
其实我在写的是 JSP ﹨(╯▽╰)∕
http://ckipsvr.iis.sinica.edu.tw/
我是用这个来断词...
把一整篇文章关键字读出来另存到DB里面
※ 引述《PsMonkey (痞子军团团长)》之铭言：
: ※ 引述《slalala (用BBS修电脑~Orz)》之铭言：
: : 我现在要做一个程式
: : 必须要读取.txt档案 一个档案约150多MB(我没豪洨/ \我也很难过><)
: : 内容是
: : 把程式里面相关文章断词塞选出来 存入资料库(大概结果会超过2万笔资料)
: 断词阿... [远目]
: 可以问一下 java 有哪些（中文）断词 library 吗？
: （目前只有听说 PATTerm 这个... 而且用法不明 Orz）
: : 想请问 我知道我不该把资料通通存入String
: : 但是如果真要这样做可行吗?(我尝试过会ERROR)
: : 有办法加大Catch让String读入150多MB吗(．＿．?)
: 不是加大 cache，而是增加 JVM 的记忆体大小
: 指令是执行时候下
: java -xmx
: 不过... 这个方法应该是治标不治本
: 一般的文章应该是有段落的
: 所以用 BufferedReader.readLine()
这 对我来说好高难度~
基本上我是用人家写好的JAVA BEAN来RUN
我现在是怀疑BEAN文章有度限制?还是从BEAN读入读出 有长度限制?
因为丢到BEAN的是String 取出的部份用arraylist
我以我才在想arraylist有长度限制吗/ \
宣告的部分：
private ArrayList<String> sentences=new ArrayList<String>();
取出的部分：
public ArrayList getResult() {
return this.sentences;
}
: 然後依照你文件的格式，去拼出一个段落，把这个段落另存档案
: 最後再分别 load 这些档案进去断词
: 这样应该比较好（不过没 try 过，纯嘴炮 [逃]）
: : 请问有什麽function能一次 慢慢让软体去处理这麽大的档案呢?
: : 另外问一下ArrayList有长度限制吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 221.169.38.103