作者dream3531 (Uncle Dan)
看板Python
标题[问题] pyspark安装
时间Fri Mar 31 13:50:23 2017
对於python 对於spark我都是新手 请多多见谅
最近想要开始学习spark 用python写
照着网路上的操作 想说只是简单的几个步骤
但遇上了一个严重的问题
安装结果：
http://imgur.com/a/TgCGz
看别人安装好都会有这一行
SparkContext available as sc.
可是我没有这部分
导致於我在跑范例程式码的时候
都会跑出
cannot import name SparkContext
请问 是我安装的部分没搞好吗？
还是 我需要去哪里改哪个东西呢？
谢谢你/你
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 68.181.206.76
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1490939425.A.E4E.html
1F：→ hsnusonic: from pyspark import SparkContext 会跑出什麽 03/31 18:39
会跑出ImportError: cannot import name 'SparkContext'
如果from pyspark import SparkConf 就是跑出 cannot import name 'SparkConf'
确认一下 跑程式码 是用terminal打./bin/spark-submit xxx.py 对吗？
补充一下 python version:3.5.2 spark version:2.1.0
谢谢
※ 编辑: dream3531 (68.181.88.116), 03/31/2017 22:36:51
2F：→ hsnusonic: 你贴的shell看起来很正常呀，所以在shell直接import没 04/01 12:00
3F：→ hsnusonic: 问题吗 04/01 12:00
请问在shell直接import的意思是？
正在学 一直发问 哈哈哈
※ 编辑: dream3531 (68.181.88.116), 04/01/2017 13:26:55
4F：→ hsnusonic: 就是用pyspark 一行一行输入 不是用spark-submit 04/01 13:36
可以耶！ 不过用shell 要怎麽直接跑一个project呢？
※ 编辑: dream3531 (68.181.88.116), 04/02/2017 00:48:38