java 板


LINE

手上有一個文字檔 300mb 檔案內容有3個 column中間隔1個空白 每一個column裡面資料長度不同 1 2 3 1.1 2 3 類似這樣 我想要把這個檔案裏面的第一欄放到HashMap裡面 這樣之後比對比較方便 (map.contain(key)) 我把第二欄與第三欄append起來做為Key值 StringBuilder sb = new StringBuilder(); String temp = ""; String key =""; while( (temp = br.readLine()) != null){ String[] items = temp.split(" "); key = sb.append(items[1]).append(items(" ")[2]).toString(); map.put(key, items[0]); sb.delete(0, sb.length()); } 這樣寫效能奇差無比... 還會爆掉 Q_Q 請問有辦法可以改善嗎 QQ? -- 不菸不酒,沒有朋友 有菸有酒,癌症好友 --



※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 1.170.251.222
1F:→ awert:一定要讀完整個檔嘛? 08/26 04:14
2F:→ awert:而且用map要key保證不衝突到才行,不如說說用途? ._. 08/26 04:16
map 裡面的 key 有衝突到,會用第二次Put 進去的 value複寫吧 (Q_Q? 我不介意他複寫 所以我沒有去判斷 key 值有沒有重複 我有兩個檔案,A.txt B.txt 兩個檔案格式相近, B.txt 比 A.txt 多一欄 然後B.txt 裡面的某一欄要用 A.txt 裡面的第一欄(map 裡面的 value) 取代 我的想法是 先把 A.txt 第一欄的資料丟進去 Map 裡面,讓 B.txt 的在取代的時候 能夠快速找到value
3F:推 gmoz:後兩個column字串會很大嗎? 不然不用StringBuilder 08/26 10:08
4F:→ gmoz:而且 append是黏上去 sb沒重設 等於每次都把前面舊資料重複黏 08/26 10:11
我在程式裡面有加入 sb.delete(0, sb.length()); 只是寫在PTT 忘記加上去了Orz ※ 編輯: love112302 來自: 1.170.251.222 (08/26 12:08) 其實不一定要用Map QQ 我只是想問看看有沒有比較快的方法 Orz ※ 編輯: love112302 來自: 1.170.251.222 (08/26 12:11)
5F:推 luoqr:用substring會比split快嗎? 08/26 12:41
6F:→ luoqr:感覺split參數是regular exp 應該會慢一些... 08/26 12:42
7F:推 luoqr:查了一下 http://0rz.tw/1zQXU StringTokenizer好像也不錯? 08/26 12:45
謝謝~ 我晚上會在用 StringTokenizer 試試看 感謝 ※ 編輯: love112302 來自: 1.170.251.222 (08/26 14:04) 看了一下 StringTokenizer 的用法 似乎沒辦法指定我要取出其中的那一個資料 ? 比方說像陣列一樣 [1] 這樣? 只能用順序進行嗎QQ? ※ 編輯: love112302 來自: 140.124.60.134 (08/26 20:24)
8F:推 luoqr:順序...有差嗎? 你不是0,1,2都要...@@ 08/26 20:49
阿 我想到了 QQ 我再試試看 ※ 編輯: love112302 來自: 140.124.60.134 (08/26 21:04) 爆掉的地方很奇怪 是在 組合成 KEY 的地方... 我key 的組合方式是 StringBuilder sb = new StringBuilder(); while( Strint temp = br.readLine() != null ){ //中略 key = sb.append(st.nextToken).append(st.nextToken); } ※ 編輯: love112302 來自: 140.124.60.134 (08/26 21:09)
9F:→ luoqr:檔案格式有問題? 還是程式寫歪了 XD 08/26 21:12
我都把key印出來看 但是都是正確的 QQ.... JVM 也開到 2048 了= = ※ 編輯: love112302 來自: 140.124.60.134 (08/26 21:16)
10F:→ luoqr:要看是跑到第幾行爆掉 或是第一行就爆了? 這片段資訊不足 08/26 21:15
剛剛是跑出 GC overhead limit 的錯誤 實際去看 GC 的執行時間 大概從 兩百多萬行就開始慢 資料總筆數 一千萬行 QQ ※ 編輯: love112302 來自: 140.124.60.134 (08/26 21:34)
11F:推 LaPass:一千萬行..... 該改用資料庫了吧? 08/26 21:43
恩....正在從頭學資料庫 Orz ※ 編輯: love112302 來自: 140.124.60.134 (08/26 21:45)
12F:推 eieio:我懷疑 String 沒被 GC 清掉,因為 StringBuilder 是同一個 08/27 00:41
13F:→ eieio:要不要試試每次都重新 new 一個 StrinBuilder? 08/27 00:43
這個問題其實我有點困擾 因為我有滿多地方需要組合字串 我知道用 + 的方式很慢 但是如果每次都 new 一個 StringBuilder 出來用 比方說: new StringBuilder().appen(1).append(2).toString(); 然後用完就丟掉 跟宣告一個 成員變數(忘記名稱 就是宣告在 function 之外的變數) 然後所有要字串組合的地方 都用同一個 StringBuilder 用完之後 sb.delete(0, sb.length()); 哪一個比較省記憶體空間呢QQ? ※ 編輯: love112302 來自: 111.249.194.97 (08/27 01:06)
14F:推 lovdkkkk:String 應該是清不掉, 只要你的 map 還需要它的話 08/27 01:28
15F:→ leonz:這種尺度的資料 應該要寫入資料庫來處理 08/27 03:46
16F:→ MonyemLi:因為您指出重複的key要覆蓋,那將a檔案拆成多檔去轉b檔 09/09 19:35
17F:→ MonyemLi:a 1~100000行 + b轉出b1, a 100001~200000 + b1轉出b2... 09/09 19:37







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Gossiping站內搜尋

TOP