Python 板


LINE

※ 引述《stba5328 (St. Ba)》之銘言: : 想請問一下 : 我想從x, y兩個元素數量相等list當中,刪除所有值為-9999的項, : 並且另一list同index的項目也要刪除,但因為list中大概有180萬筆, : -9999的聯集數量大概57萬筆,該如何加速以下的程序呢? : def get_index(a): : lst = [i for i, j in enumerate(a) if j == -9999] : return lst : indx = get_index(x) : indy = get_index(y) : indlst = list(set(indx) | set(indy)) : xlst = [j for i, j in enumerate(x) if i not in indx] : ylst = [j for i, j in enumerate(y) if i not in indy] 最高指導原則:各 list 中各個元素只看一次 因為你有那麼多資料, 當然是看越少次越好 所以只能用一個 for 迴圈, 就要把兩個串列走完 可以這樣想: ------------------- | x[0] | y[0] | ------------------- | x[1] | y[1] | ------------------- | x[2] | y[2] | ------------------- | x[3] | y[3] | . . . . . . 然後從上面往下走一次 如果 x[i] 與 y[i] 其中有一個是 -9999, 就捨去那一欄 把它寫成程式 BAD_VALUE = -9999 result_x = [] result_y = [] for xi, yi in zip(x, y): # Python 2 改用 izip if x_i == BAD_VALUE or y_i == BAD_VALUE: continue # 不要這行 result_x.append(xi) result_y.append(yi) 這是淺顯易懂的簡化 若想再加速(用純 Python 為前題), 最簡單的方法是改用 PyPy 如果無法這樣做, 那麼就要想辦法拿掉 Python 的 for 迴圈 用 list comprehension 是一個方式: result_rows = [ (xi, yi) for xi, yi in zip(x, y) if x_i != BAD_VALUE and y_i != BAD_VALUE ] 但這樣出來的就不是兩個 lists, 而是像上面那樣的二維表格 當然你可以再用一個 zip 轉置它: result_x, result_y = zip(result_rows) 但這樣就會 iterate 第二次了, 效能上就會有差 (注意這不見得會比前面用迴圈的方法慢!) 所以還是要看需求來選用 如果要再加速, 就得借用其他工具了 例如 numpy array 是一個方法 用 Cython 把這個 for 迴圈 transcompile 成 C 應該也是解 但這裡就不討論到那邊 -- 「我最想要的同伴嘛,首先是要笑口常開,其次是我們能永遠不會發生誤會。 如果這些都能辦到的話,嗯,如果他是世界上第一流的橋手,也還不錯。」 -- 班尼多‧加羅素,前義大利藍隊成員 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.122.14
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1446711425.A.0D4.html ※ 編輯: uranusjr (1.162.122.14), 11/05/2015 16:17:35
1F:推 stba5328: 感謝u大!但到最後分離x, y的步驟會顯示to many values 11/06 20:51
2F:→ stba5328: to unpack 但 用numpy array 轉置後就完成了 感謝! 11/06 20:51







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Boy-Girl站內搜尋

TOP