在开发PySpark程序时通常会需要用到Java的对象，而PySpark本身也是建立在Java API之上，通过Py4j来创建JavaSparkContext。这里有几点是需要注意的1.Py4j只运行在driver也就是说worker目前来说引入不了第三方的jar包。因为worker结点的PySpa...
分类：
编程语言 时间：
2015-05-18 12:33:38
阅读次数：
4496
Windows下最简的开发环境搭建这里的spark开发环境, 不是为apache spark开源项目贡献代码, 而是指基于spark的大数据项目开发.Spark提供了2个交互式shell, 一个是pyspark(基于python), 一个是spark_shell(基于scala). 这两个环境其实是...
分类：
Windows程序 时间：
2015-03-29 16:20:39
阅读次数：
2373
安装好Spark 后，官方自带了一些demo, 路径在 ?Spark根目录/examples/src/main/python/ 里面有些例子，例如统计字数的 wordcount.py import?sys
from?operator?import?add
from?pyspark?import?SparkCo...
分类：
其他好文 时间：
2015-01-29 17:53:34
阅读次数：
224
这是前段时间在看spark的python支持的时候，简单过了一下pyspark里的python代码，整理了一个大致流程。虽然几乎不会python，但基本上能看懂pyspark是怎么让不同虚拟机之间传输数据的、如何在python环境调用java类的、pyspark SDK的丰富程度取决于什么、需要做些什么流程和封装等。
我看了下，应该只有Pyspark Internals这篇wiki里介绍了pyspark的实现机制，大体是下面这张图就可以表示...
分类：
其他好文 时间：
2014-07-31 00:01:36
阅读次数：
515
