作者pk790127 (<>)
看板R_Language
標題Re: [分享] sparklyr
時間Thu Nov 24 22:59:51 2016
※ 引述《celestialgod (天)》之銘言：
: [關鍵字]: sparklyr
: [出處]: http://spark.rstudio.com/index.html
: [重點摘要]:
: 煩請移駕到我的部落格觀看：http://goo.gl/SSor3y
: 最近花了點時間研究Spark
: 終於研究到了一個段落
: 回來研究一下自己最愛的R
: 而且又看到rstudio釋出了sparklyr就手癢想說試試看了
: 於是就有這篇心得了XD
: 只是我還沒去測試machine learning相關的東西
: 就留給其他人慢慢賞玩了
感謝celestialgod大大 無私分享這個關於spark的套件
小弟目前著手研究這個套件,並搭配出處原文參考
但是在安裝的時候發現了一些問題
例如說是
Error:
To run Spark on Windows you need a copy of Hadoop winutils.exe:
1. Download Hadoop winutils.exe from:
2. Copy winutils.exe to
C:\Users\XXXXXX
這個問題網路上問的人蠻多的,只要將winutils放入指定路徑即可
但是衍生成別的問題 就找不到解法,想請教大大
問題如下:
> library(sparklyr)
> sc <- spark_connect(master = "local")
Error in start_shell(master = master, spark_home = spark_home, spark_version
= version, :
Failed to launch Spark shell. Ports file does not exist.
Path: C:\spark-2.0.0-bin-hadoop2.7\bin\spark-submit.cmd
Parameters: --class, sparklyr.Backend, --packages,
"com.databricks:spark-csv_2.11:1.3.0","com.amazonaws:aws-java-sdk-pom:1.10.34",
"C:\spark-2.0.0-bin-hadoop2.7\R\lib\sparklyr\java\sparklyr-2.0-2.11.jar",
C:\Users\John\AppData\Local\Temp\RtmpKyXbqK\file16b076c13dc6.out
檔案名稱、目錄名稱或磁碟區標籤語法錯誤。
感覺是spark檔案中的一些資料放錯了位置,可是研究了好久還是找不到答案
還請各位大大相助
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.86.113
※ 文章網址: https://webptt.com/m.aspx?n=bbs/R_Language/M.1479999594.A.11A.html
1F：→ pk790127: 備註 我是只要在local端執行運算即可 11/24 23:04
2F：→ celestialgod: 你可以試試看直接用最新版的rstudio + sparklyr就好 11/24 23:11
3F：→ celestialgod: 不要自己設置HADOOP跟SPARK路徑 11/24 23:11
4F：→ celestialgod: 用sparklyr的install_spark 11/24 23:11
5F：→ celestialgod: 成功機率應該會比較高 11/24 23:11
6F：→ celestialgod: 很多自己設定的東西 跑掉是不好找的(攤手 11/24 23:12
7F：→ celestialgod: 除非你真的對R, 系統, Spark都很熟 11/24 23:12
8F：→ clansoda: 對 sparlyr已經建在rstudio上了，只要你有安裝sparklyr 11/24 23:13
9F：→ clansoda: 他就會跟git一樣出現在environment那邊，很容易可以使用 11/24 23:13
10F：→ celestialgod: 在linux玩這個套件還是我最推薦的方式拉(攤手 11/24 23:14
11F：→ celestialgod: windows = 浪費時間 11/24 23:14
12F：→ celestialgod: 現在架一個，用rstudio server不用太久 11/24 23:14
13F：→ celestialgod: /vm 11/24 23:14
14F：→ Edster: 真的windows=浪費時間，我今天花一天時間處理big5跟unicod 11/25 02:18
15F：→ Edster: 混用的檔名，在windows下真的很討厭。看來該要跳槽linux了 11/25 02:19
16F：→ andrew43: 急的話用virtualbox安裝個順手熱門的linux distro吧 11/25 04:01
17F：→ pk790127: 感謝各位的回覆 問題可能傾向板本問題 11/26 15:14