作者JefferyTseng (世界越快，心則亂)
看板Statistics
標題[問題] 使用 R 或 Python 做 big data 電腦推薦
時間Thu Oct 19 18:04:39 2017
雖然是硬體問題，
但在電腦相關的板和 mobile01 搜尋和發問，
都沒有好的解答，也許在統計板或許反而可以有解，
故來板上發問看看。
預定著手碩士論文的寫作，
沒意外會是用 Big Data 的資料處理法做金融方面的主題，
因為資料量將會很龐大，故須購置一台筆電（學校沒有配給我電腦），
於是選擇電腦型號出現問題。
據老師表示，以期貨來說，一個月就有 70～80 萬筆資料，
所以我用來做論文的資料量或許會有幾百萬筆
（資料結構會是如何我還不清楚），
私心想要輕薄型電腦，畢竟頻繁往來圖書館或研究室，
甚至跨校作業時便攜性很重要。
然而時下輕薄型電腦（姑且粗略定義為 14" 螢幕機體大小及 1.7kgs 以下），
接配備 U 系列的ＣＰＵ，
配備 HQ 系列的ＣＰＵ大概是沒有小於 15.6" 螢幕機體大小且小於 2kgs 的，
想請教板上先進，使用Ｕ系列的ＣＰＵ做 Big Data 的分析是否堪用？
（愚見關鍵是在ＣＰＵ的樣子，所以作為先決要件；
記憶體會在預算考量及機種支援下盡量最大化。）
謝謝！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.127.120.81
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Statistics/M.1508407483.A.615.html
1F：→ andrew43: ram 不夠會比 CPU 不夠更嚴重。先估你要多少 ram10/19 18:09
2F：→ andrew43: cpu 主要看運算有多複雜，但老實說coding影響更大。10/19 18:10
不巧的是當下記憶體報價高檔，所以在「跑得動」的情況下，
我會配至少１６ＧＢ的ＤＤＲ４記憶體。
ＣＰＵ如果Ｕ系列的運算足堪應付的話，
我會考慮捏一下上八代（真四核）的Ｕ。
※ 編輯: JefferyTseng (140.127.120.81), 10/19/2017 18:14:45
3F：→ Wush978: 先估計你需要的RAM個數。直接跟老師要個一萬筆資料，讀到10/19 20:25
4F：→ Wush978: R/python之中利用API (R 用 object.size, python 我不知)10/19 20:26
5F：→ Wush978: 查記憶體用量。然後乘以1000就是千萬筆資料需要的記憶體 10/19 20:26
6F：→ Wush978: 然後再乘以2，就差不多是你要穩穩整理資料需要的記憶體10/19 20:26
7F：→ Wush978: 如果你的記憶體低於我上面講的方法算出來的數字，整理資 10/19 20:27
8F：→ Wush978: 料會比較辛苦一點。10/19 20:28
9F：→ Wush978: 另外資料分析我比較推桌機，比筆電便宜，長時間跑也可以10/19 20:29
10F：→ Wush978: 放著10/19 20:29
11F：推 pelicanper: U基本上就掰了10/20 08:01
12F：推 DIDIMIN: 幾百萬筆資料用一般 ultra book 就好，樣本沒有很大10/20 09:00
13F：→ jupit: 期貨資料也就只是OHLC四個數字,一天不超過10萬個tick,所以10/20 19:10
14F：→ jupit: 相當於一天資料量頂多2M,我看用P4+8g ram就夠了吧10/20 19:12
15F：→ luenchang: big data為何不在server裡分析? local的電腦就當成一10/22 10:32
16F：→ luenchang: 個access server的介面。能動就好了。10/22 10:32
抱歉我對資訊的部分不是很懂，
請問該如何在 server 內分析呢？
這樣我選購 U 系列的 CPU 機種（Ultrabook）就可以了嗎？
謝謝。
※ 編輯: JefferyTseng (42.77.201.87), 10/23/2017 22:24:18
17F：→ andrew43: 首先要有一台server，通常是幾十萬的工作站。 10/24 03:16
18F：→ andrew43: 你可以先按Wush的建議測試，不然只是空談了。 10/24 03:18
19F：→ andrew43: 如果不知道怎麼估需求，急的話就買你想買的吧。反正如果 10/24 03:25
20F：→ andrew43: 不夠用的時候自然就會去找台高效桌機了。 10/24 03:26
21F：推 errard: Big data 筆電隨便ultra book就可以了，然後google cloud 10/24 12:28
22F：→ errard: computing或組一台桌機。 10/24 12:28
23F：推 errard: 要筆電硬跑big data 很難，你創個10k*10k大小的矩陣，算一 10/24 12:30
24F：→ errard: 下inverse看要多久。 10/24 12:30
25F：推 cd12631: 認真要固定跑當然用server跑就好 筆電買順眼的就好 10/24 16:07
26F：→ cd12631: 就算你筆電可以跑 難道你就整天瞪著你的筆電等他跑不做其 10/24 16:08
27F：→ cd12631: 他事嗎? 10/24 16:09
28F：→ cd12631: 其實我覺得這種配備應該要求實驗室配給你 10/24 16:09
29F：推 goshfju: 好慘 10/25 01:47
30F：→ goshfju: 要馬兒好 又要馬兒不吃草的感覺 10/25 01:47
感謝大家的建議，因為可能做完一次論文，
就不會再用到需要效能的電腦，
所以
1.如果筆電，甚至桌電達不到這樣的需求，其實想省下這筆錢，
昨天研究了 Google Cloud Computing，但能找到的中文資料不多，還在摸索。
2.如果高效能的筆電可以符合需求，就買台 Intel 七代 HQ CPU 搭
16GB RAM 以上的 Notebook，出掉手邊的 Intel 3 代 I5 CPU 的 Notebook
（暫定 Acer A715-71G-54UE，CPU：I5-7300HQ）。
3.如果 Ultrabook 能辦到，就賣掉現有的平板電腦（Surface pro 3，I5，4GB RAM），
以及 Intel 3 代 I5 CPU 的 Notebook。
購入搭七代或八代 I5 CPU 的 ASUS UX410、UX430、S410、S510、T304
或 Acer Swift 5、Swift 3，可擴充的機型記憶體就擴充至 16GB 或 20GB。
4.如果桌電可以滿足需求，不得已就也只能組一台，但是不能在老家、租屋處、
學校間帶來帶去真是亂不方便的。
另外網路上有人建議組 GPU。（現在才知道還有這種用法，但不知道怎麼組就是了。）
※ 編輯: JefferyTseng (140.127.120.81), 10/26/2017 15:22:15
31F：→ celestialgod: GPU就免了吧... 10/26 18:48
32F：推 bearching: 可以去PC_Shopping板問問，如果在硬體限制的情況下， 10/27 16:22
33F：→ bearching: 是否要試試用Stata處理資料？ 我處理一百多萬筆的資料 10/27 16:22
34F：→ bearching: 約20個變數以上，用AsusTA205的小筆電都跑得動，不 10/27 16:23
35F：→ bearching: 過比較慢就是了XD 可以同時讀一些paper 看你要怎麼跑 10/27 16:23
36F：→ bearching: 資料，方法跟變數先選個大概就可以決定硬體了 10/27 16:24
請問大大說的是這台（Asus X205TA）嗎？
https://www.asus.com/us/Laptops/ASUS_EeeBook_X205TA/specifications/
※ 編輯: JefferyTseng (140.127.120.81), 10/28/2017 14:36:30
37F：→ f496328mm: 認真說 筆電U系列蠻弱的 CPU 常常操到掛掉 10/28 15:18
38F：→ f496328mm: 筆電不用到 I7 RAM還比較重要 10/28 15:20
39F：→ f496328mm: 要是真的沒辦法 就分批處理 DATA 吧 10/28 15:22
40F：→ f496328mm: 會比較麻煩就是了 10/28 15:22