码迷,mamicode.com
首页 > 编程语言 > 详细

IPython Notebook 运行python Spark程序

时间:2018-09-04 21:19:54      阅读:152      评论:0      收藏:0      [点我收藏+]

标签:nbsp   lse   https   bootstra   server   exp   ipy   技术分享   trap   

1.安装pip

因为centos7.0自带的python系统是2.7.5,并没有安装pip,需要先安装pip

$ wget https://bootstrap.pypa.io/get-pip.py
$ python get-pip.py

$ pip install numpy pandas scipy jupyter

  

2.配置启动项

$ vim ./.bashrc

export PYSPARK_DRIVER_PYTHON=/usr/bin/ipython
export PYSPARK_PYTHON=/usr/bin/python

$ source ./.bashrc

  

3.jupyter 无法远程访问

$ jupyter notebook --allow-root  


其实这时候,local如果有browser的话,就可以输入访问了,但是没有,所以需要远程访问: http://ip:8888,发现访问不了

 

(一)配置远程访问jupyter

1)首先输入ipython生成秘钥

 

$ ipython
from notebook.auth import passwd
passwd()

  

设定一个密码,会生成一个sha1的秘钥,如下图:

 

技术分享图片

2)生成jupyter的config文件

$ jupyter notebook --generate-config

  

这时候会生成配置文件,在 ~/.jupyter/jupyter_notebook_config.py

 

3)修改配置文件:~/.jupyter/jupyter_notebook_config.py

 

$vim ~/.jupyter/jupyter_notebook_config.py

  

加入如下内容,其中sha1那一串秘钥是上面生成的那一串

 

c.NotebookApp.ip=‘*‘
c.NotebookApp.password = u‘sha1:f9030dd55bce:75fd7bbaba41be6ff5ac2e811b62354ab55b1f63‘
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888

保存退出。

 

4)启动jupyter

 

$jupyter notebook --allow-root

  

在远程电脑上,打开浏览器,输入:

 

http://your-server-ip:8888

技术分享图片

 

需要输入密码,就是上面设置的那个密码,输入即可

技术分享图片

 

4.启动

$ PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook --allow-root" pyspark # 其中--allow-root是因为root登录master

  

技术分享图片

 

IPython Notebook 运行python Spark程序

标签:nbsp   lse   https   bootstra   server   exp   ipy   技术分享   trap   

原文地址:https://www.cnblogs.com/zenan/p/9585402.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!