※ 引述《Kuster (克斯特)》之銘言： : 我的檔案格式是一行一行，每行有若干個數字 : 我要將每個數字都讀近來 : 說的再清楚一點，這是一個存graph的文字檔，每個數字代表各node : 每行的第一個數字代表起始點，後面跟若干個數字代表這個node有連線到後面那些node : 我想要自己設計資料結構來儲存這些資料 : 以一個一維陣列代表index : 再用一個一維陣列存data : 這樣若我要取編號為30的那個node有連線到那些node，我就只要下指令： : data[index[30-1]:index[30]] : 這樣切出來的東西就會是我要的了~ : 這樣應該速度快且省記憶體(應該啦) : 問題是.... : 我的系統是ubuntu 64bit : 一個int就佔了8byte? : 我嘗試使用NumPy指定我的array內整數為Int32，可是依舊肥大 : 直接使用： : data = range() : 使用list格式，會佔用2.4G ram : 若用NumPy指定整數為Int32： : data = array( range() , Int32 ) : 這樣記憶體會先標到2.4G，然後下降到1.9G : 整體來說依舊相當肥 : 直接算的話，我有80M左右的資料量，資料內容是Int32，照理說就： : 80M * 4byte = 320MB : 我只要這麼多的記憶體空間就夠了 : 造成記憶體佔用如此大的原因應該就是數字也是物件的關係吧？猜的 : 請問若我要塞這麼大量的整數進去記憶體，使用python的話該用什麼方法呢？ : 我之前是學Java的，現在想說跳Python看看..... : 感謝各位前輩！！ 作了 a = arange(71242183, dtype='int32') 之後： 31907 yungyuc 16 0 317m 280m 3236 S 0 3.5 0:00.20 python del a 之後 31907 yungyuc 16 0 46348 9388 3236 S 0 0.1 0:00.21 python 如果 a = arange(71242183, dtype='int64')： 31907 yungyuc 16 0 588m 552m 3240 S 6 6.9 0:00.50 python 處理這麼大量的資料請愛用 numpy --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 76.181.246.83