作者scalawax (aliang)
看板Soft_Job
標題[請益] excel轉資料庫（大量計算）
時間Tue Jun 22 16:27:52 2021
各位大大您們好，
我正在做實價登錄的分析，因為實價登錄的資料有點亂，所以我寫了一堆算式去算，但是
一個檔案都太大（至少150-180MB），所以每次更新都要跑一整個晚上，重點是還不知道
是否有跑完（三不五時會發現計算錯誤）。。。。
想改到資料庫或其他的架構，是不是真的會比較快？但是重點是有辦法處理大量的計算。
。。。
真的不知道該用什麼。。。
我不是唸相關科系的，實在不知道該從哪裡下手。。。。
想聽聽大家專業意見，不管是ACCESS或是python或是有其他大家覺得更好的方式 ，有一
個方向我再去好好鑽研。。。
麻煩大家幫我指點明燈～～～ 跪恩！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.201.197 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1624350474.A.258.html
1F：→ airtsubasa: 換電腦 06/22 16:30
2F：推 gnseed: 演算法寫得不好吧...連G都沒出現的資料不能稱為大 06/22 16:34
3F：→ final01: excel?? 那個不是很慢 06/22 16:37
4F：推 ntpuisbest: 用r data table 寫的非常快 06/22 16:37
5F：推 kokolotl: excel函數一大就算到死了 改用R或python都舒服很多 06/22 16:51
6F：推 Virness: mysql mongo都可以我之前也是excel超痛苦 06/22 17:04
7F：→ MOONY135: 看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變 06/22 17:05
8F：→ MOONY135: 大 後者的話直接建議塞進db 前者大概就是換語言讀寫 06/22 17:06
10F：推 azzc1031: python去讀 再去下你要看的函數 06/22 19:43
11F：→ lazarus1121: 把function換成vba來跑會快不少 06/22 20:04
12F：→ lazarus1121: 之前資料量大用excel都盡量不寫函數，不然下拉時容 06/22 20:10
13F：→ lazarus1121: 量跟耗的效能都會等比成長 06/22 20:10
14F：→ tedmax100: 不動產業的RD?? 06/22 21:04
15F：→ DrTech: 才不到200M,用程式讀到記憶體算，就解決了。根本不用資料 06/22 21:57
16F：→ DrTech: 庫。 06/22 21:57
17F：→ yyc1217: 要不要試試看Google colab 06/22 23:24
18F：推 qazxws: Apache Spark 06/23 00:13
19F：推 new122851: Hadoop 06/23 00:32
20F：推 marc47: julia 06/23 01:41
23F：→ KeyFSN: 才 180 MB 根本不用什麼 spark 啦 XD 06/23 12:42
24F：→ KeyFSN: 直接 python 全讀到 memory 然後算一算就結了 06/23 12:43
25F：推 sammythekid: 樓上講完了 06/23 14:57
27F：推 wahaha279: 用aws elk做資料搜尋 06/24 00:19
28F：推 adsl12367: DB用哪一個？ 06/24 15:50
29F：→ scalawax: 哈哈哈哈，謝謝大家的幫忙，但大家的回覆我真的看不懂， 06/24 18:30
30F：→ scalawax: 大家實在是太專業了。。。。我是在一家建商，老闆常叫 06/24 18:30
31F：→ scalawax: 我做市調，所以自己弄了套excel+power BI，看來得來自 06/24 18:30
32F：→ scalawax: 學python了。。。。 06/24 18:30
33F：推 alivetaxi: 試試access 應該夠用了 06/24 20:28
34F：推 divergience: VBA 就夠了 06/24 20:50
35F：推 alice78226: excel和power bi有沒有裝64位元的，記憶體有沒有加到3 06/24 23:37
36F：→ alice78226: 2G？32位元的軟體跑不動很正常。 06/24 23:37
37F：推 jinmin88: c#的話我記得有excel lib支援yield return 06/25 19:37
38F：推 acgotaku: Amazon Athena申請一個,資料丟進去 你會發現魔法 07/02 18:24