python

标签：方案   using   print   clu   ret   update   virt   ant   slave   

1. 以python package 安装scipy

Try to install it as a python package using pip as follows

$ sudo apt-get install python-scipy

If you want to run a python 3.x script, install scipy by:

$ pip3 install scipy
Otherwise install it by:
$ pip install scipy

注意添加到PYTHONPATH里面

2. 如何run python programes on yarn clusters/ spark standalone clusters

方案一：在所有的slave和master上部署好所需要的python环境，如：Numpy

方案二：将所需要的python dependency 打包进virtual environment， 然后用spark-submit提交任务即可，需要指定--archives venv.zip

ubantu上安装可以采用：

 apt-get update
  apt-get install -y python-setuptools python-dev
  apt-get install -y gcc make
  apt-get install -y zip
  easy_install pip

python

标签：方案   using   print   clu   ret   update   virt   ant   slave   

原文地址：http://www.cnblogs.com/lightsun/p/7110580.html