作者aj4rmp4 (老穆)
看板MATLAB
標題[問題] 大量數據(大矩陣)載入function的處理
時間Tue Oct 29 14:19:57 2013
大家好
請問當一個很大的矩陣(幾10萬 X 幾千)要載入函式裡做某些分析處理
在執行上要花很長時間
有沒有甚麼技巧可以縮短函式載入和回傳的運行時間?
因為BOSS在做一個處理大規模數據的演算法
所以在中間處理運算上不希望被重複的函式傳遞去影響演算法效率
查了相關處理大數據的問題都是在源頭讀取資料
而我們的數據在源頭於主程序已經載入成大矩陣
所以不考慮頭尾I/O的運行速度
先謝謝各位
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.113.59.229
1F：→ s8911124:call c function去跑計算的地方，如果還太慢 10/29 16:01
2F：→ s8911124:對輸入資料做sampling或是降維 10/29 16:02
3F：→ aj4rmp4:不好意思我再補充。現在先不考慮計算過程，只是單純的丟 10/29 16:54
4F：→ aj4rmp4:大矩陣到function的程序。是不是把大矩陣轉成數個小矩陣 10/29 16:54
5F：→ aj4rmp4:在丟到函式後重組回大矩陣，這樣會比直接丟大矩陣快嗎? 10/29 16:56
6F：→ FET:如果組合回去結果的算法是線性的，通常分解開來會比較快 10/29 21:30
7F：推 summitstudio:能不能拆矩陣(平行化)應該要看你的演算法決定？ 10/29 22:13
8F：推 niwat:改丟指標(byref)的方式, 然後比較不同function處理資料速度 10/30 00:12
9F：→ niwat:這樣可以嗎? 10/30 00:13