标签:nbsp lse https bootstra server exp ipy 技术分享 trap
因为centos7.0自带的python系统是2.7.5,并没有安装pip,需要先安装pip
$ wget https://bootstrap.pypa.io/get-pip.py $ python get-pip.py $ pip install numpy pandas scipy jupyter
$ vim ./.bashrc export PYSPARK_DRIVER_PYTHON=/usr/bin/ipython export PYSPARK_PYTHON=/usr/bin/python $ source ./.bashrc
$ jupyter notebook --allow-root
其实这时候,local如果有browser的话,就可以输入访问了,但是没有,所以需要远程访问: http://ip:8888,发现访问不了
(一)配置远程访问jupyter
1)首先输入ipython生成秘钥
$ ipython from notebook.auth import passwd passwd()
设定一个密码,会生成一个sha1的秘钥,如下图:
2)生成jupyter的config文件
$ jupyter notebook --generate-config
这时候会生成配置文件,在 ~/.jupyter/jupyter_notebook_config.py
3)修改配置文件:~/.jupyter/jupyter_notebook_config.py
$vim ~/.jupyter/jupyter_notebook_config.py
加入如下内容,其中sha1那一串秘钥是上面生成的那一串
c.NotebookApp.ip=‘*‘ c.NotebookApp.password = u‘sha1:f9030dd55bce:75fd7bbaba41be6ff5ac2e811b62354ab55b1f63‘ c.NotebookApp.open_browser = False c.NotebookApp.port =8888
保存退出。
4)启动jupyter
$jupyter notebook --allow-root
在远程电脑上,打开浏览器,输入:
http://your-server-ip:8888
需要输入密码,就是上面设置的那个密码,输入即可
$ PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook --allow-root" pyspark # 其中--allow-root是因为root登录master
IPython Notebook 运行python Spark程序
标签:nbsp lse https bootstra server exp ipy 技术分享 trap
原文地址:https://www.cnblogs.com/zenan/p/9585402.html