示例Spark SQL注册“临时表”执行“Join”（Inner Join、Left Outer Join、Right Outer Join、Full Outer Join）代码from pyspark import SparkConf, SparkContextfrom pyspark.sql i...
分类：
数据库 时间：
2015-10-19 17:20:03
阅读次数：
308
以前也知道蒙特卡洛投针求PI，今天安装spark，安完先要试试他自带的几个小程序看看能不能用，我主要会用python写程序，也就是pyspark所以在spark里的examples目录深处找python的文件夹，里面的pi.py就是。看了一下源码是这样的：
import sys
from random import random
from operator import add
from py...
分类：
其他好文 时间：
2015-08-15 16:41:52
阅读次数：
254
spark集群运行python作业，pyspark...
分类：
编程语言 时间：
2015-07-31 18:36:52
阅读次数：
224
在hadoop集群上搭好spark环境及体验spark shell之后可以重新做做官方的快速上手。运行独立程序（SimpleApp.py）：
首先编写程序（这里用Pytho的API）：
from pyspark import SparkContextlogFile = "README.md" #注意这里的文件是在hdfs中的
sc = SparkContext("local","Simp...
分类：
移动开发 时间：
2015-07-05 18:37:23
阅读次数：
218
启动PySparkexport IPYTHON=1 # PySpark也可使用IPython shellpyspark --master yarn --num-executors 3发生如下错误:/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/bin/...
分类：
其他好文 时间：
2015-07-04 20:52:52
阅读次数：
203
import random as rdimport mathclass LogisticRegressionPySpark: def __init__(self,MaxItr=100,eps=0.01,c=0.1): self.max_itr = MaxItr se...
分类：
其他好文 时间：
2015-07-03 20:40:40
阅读次数：
523
#?-*-?coding:utf-8?-*-
‘‘‘
1,?从网站上下载spark
2,?py4j和pyspark这两个库放到Python环境中，
‘‘‘
import?os
os.environ[‘SPARK_HOME‘]?=?r‘E:\Dev\spark-1.4.0-bin-hadoop2.6‘
from?pyspark?impor...
分类：
编程语言 时间：
2015-06-22 06:31:49
阅读次数：
162
由于Spark是用Scala实现的，所以Spark天生支持Scala API，此外，还支持Java和Python API。以Spark 1.3版本的Python API为例，其模块层级关系如下图所示：
从上图可知，pyspark是Python API的顶层package，它包含了几个重要的subpackages，其中：
1) pyspark.SparkContext
它抽象了指向sp...
其实，有两个名为PySpark的概念，一个是指Spark客户端内置的pyspark脚本，而另一个是指Spark Python API中的名为pyspark的package。
本文只对第1个pyspark概念做介绍。
1. Spark客户端内置的pyspark"命令"
Spark客户端支持交互模式以方便应用调试，通过调用pyspark可以进入交互环境：
cd /path/to/spark...
分类：
其他好文 时间：
2015-06-08 19:34:28
阅读次数：
283
+ Spark Tutorial: Learning Apache SparkThis tutorial will teach you how to use Apache Spark, a framework for large-scale data processing, within a notebook. Many traditional frameworks were designed to...
分类：
编程语言 时间：
2015-06-08 09:48:05
阅读次数：
1200
