※ 引述《peekar (我聽牌了, 呵呵..)》之銘言： : sudo pip3 install --upgrade numpy 嗯, 換工作之後就沒機會用 spark 了 我用之前的經驗講一下. 1. 確定你在哪個環境. Spark can be local, stand-alone, cluster. local 最簡單, stand-alone 你就必須確定 dev-machine, master, slave 的 python 環境一樣. 2. 你如果要用 python3, 要改 spark-env 以及 .bashrc 去設定 local enviroment. 我之前用 1.4 預設還是 python2. 你要自己改. 3. 請盡量不要用 sudo pip3 install.. 用 pip3 install --user 4. 看你是甚平台. 我記得 ubuntu 你需要裝 python-dev, gcc, blas 才能編譯 numpy. Spark + Python 作 ML 以及 Data Analysis 厲害的人真的能夠以一當百.. 但是, 要把 spark + python 弄上 production cluster 還要弄的好, 就很不容易. -- 趙客縵胡纓，吾鉤霜雪明。銀鞍照白馬，颯沓如流星。 十步殺一人，千里不留行。是了拂衣去，深藏身與名。 閑過信陵飲，脫劍膝前橫。將炙啖朱亥，持觴勸侯贏。 三杯吐然諾，五嶽倒為輕。眼花耳熱後，意氣素霓生。 就趙揮金錘，邯鄲先震驚。千秋二壯士，烜赫大梁城。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 23.243.62.254 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1475640694.A.500.html