上次在spark的一个群里面，众大神议论：dataset会取代rdd么？ 大神1：听说之后的mlib都会用dataset来实现，呜呜，rdd要狗带 大神2：dataset主要是用来实现sql的，跟mlib没多大关系，你们说为什么要用dataset呢？ 大神3：因为老板喜欢。 在市场上找一个会写sql ...
分类：
数据库 时间：
2016-07-01 13:14:51
阅读次数：
503
*目的是为了防采集。需要对网站的日志信息，进行一个实时的IP访问监控。1、kafka版本是最新的0.10.0.02、spark版本是1.613、下载对应的spark-streaming-kafka-assembly_2.10-1.6.1.jar放到spark目录下的lib目录下4、利用flume将nginx日志写入到kafka（后续补充）5、编写python..
分类：
Web程序 时间：
2016-06-13 19:28:08
阅读次数：
1223
官话套话不想讲，介绍也不想打，都知道pyspark和KDD-99是啥吧？
不知道的话．．．点这里1
或者这里2转载记得注明出处pyspark本身是用Scala语言编写的，而Scala语言呢又是Java的变形状态，虽说spark也支持Python，但是还是没有Scala支持的好，对于pyspark的书也很少．所以恰好前几天研究了一些，现在跟大家分享交流一下吧．
首先我是用替换后的kdd-99-1...
分类：
其他好文 时间：
2016-05-06 12:38:37
阅读次数：
505
PySpark处理数据并图表分析
PySpark简介
官方对PySpark的释义为：“PySpark is the Python API for Spark”。 也就是说pyspark为Spark提供的Python编程接口。Spark使用py4j来实现python与java的互操作，从而实现使用python编写Spark程序。Spark也同样提供了pyspark...
分类：
其他好文 时间：
2016-04-29 19:37:44
阅读次数：
260
PySpark处理数据并图表分析
PySpark简介
官方对PySpark的释义为：“PySpark is the Python API for Spark”。 也就是说pyspark为Spark提供的Python编程接口。Spark使用py4j来实现python与java的互操作，从而实现使用python编写Spark程序。Spark也同样提供了pyspark...
分类：
其他好文 时间：
2016-04-23 07:34:09
阅读次数：
217
# Word count on manuscript using PySpark# import regex moduleimport re# import add from operator modulefrom operator import add# read input filefile_i...
分类：
其他好文 时间：
2016-01-21 10:30:13
阅读次数：
633
转载或借鉴请注明转自http://www.cnblogs.com/FG123/p/5101733.html谢谢！1.安装Spark之前需要先安装Java，Scala及Python(个人喜欢用pyspark，当然你也可以用原生的Scala)首先安装Java jdk：我们可以在Oracle的官网下载Ja...
分类：
其他好文 时间：
2016-01-05 12:29:52
阅读次数：
178
PLSA.py 1 # coding:utf8 2 from pyspark import SparkContext 3 from pyspark import RDD 4 import numpy as np 5 from numpy.random import RandomState ...
分类：
其他好文 时间：
2015-10-23 18:28:14
阅读次数：
382
需求SparkContext自定义扩展textFiles，支持从多个目录中输入文本文件扩展class SparkContext(pyspark.SparkContext): def __init__(self, master=None, appName=None, sparkHome=Non...
分类：
其他好文 时间：
2015-10-20 10:27:51
阅读次数：
365
示例Spark多个RDD（数据格式相同）“组合”为一个RDD代码from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("spark_app_union") sc = SparkContext(conf=co...
分类：
其他好文 时间：
2015-10-19 17:26:00
阅读次数：
142
