1.下载spark源码包 http://spark.apache.org/downloads.html 2.安装Scala与maven，解压spark源码包 安装Scala： tar zxf scala-2.11.8.tar 修改vim /etc/profile export SCALA_HOME= ...
分类：
其他好文 时间：
2017-05-24 18:31:30
阅读次数：
252
1.解压安装spark tar zxf spark-2.1.O-bin-2.6.0-CDH5.10.0.tgz 2.修改配置文件 vim /etc/profile export SPARK_HOME=/opt/spark/spark-2.1.O export PATH=$PATH:$SPARK_HO ...
分类：
其他好文 时间：
2017-05-24 18:24:59
阅读次数：
158
Client作为Endpoint的具体实例，下面我们介绍一下Client启动以及OnStart指令后的额外工作 一、脚本概览 下面是一个举例： /opt/jdk1.7.0_79/bin/java -cp /opt/spark-2.1.0/conf/:/opt/spark-2.1.0/jars/*:/ ...
分类：
其他好文 时间：
2017-05-24 11:16:42
阅读次数：
194
Spark中关于Parquet的应用Parquet简介Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目http://parquet.apache.org/Spark关于Parquet的支持这里我们使用的版本为spark2.0.1，是2016年10月3日发布的最新..
分类：
其他好文 时间：
2017-05-21 15:22:53
阅读次数：
1834
Pipeline 为流程，是Spark创建机器学习的一个流程控制的类 下面直接贴出创建的代码，以及整个流程 第一种： 第二种： ...
分类：
其他好文 时间：
2017-05-16 15:02:33
阅读次数：
242
Worker作为Endpoint的具体实例，下面我们介绍一下Worker启动以及OnStart指令后的额外工作 一、脚本概览 下面是一个举例： /opt/jdk1.7.0_79/bin/java -cp /opt/spark-2.1.0/conf/:/opt/spark-2.1.0/jars/*:/ ...
分类：
其他好文 时间：
2017-05-02 11:51:08
阅读次数：
227
python代码： 执行SparkStreaming： spark/bin/spark-submit --jars spark-streaming-kafka-0-8-assembly_2.11-2.1.0.jar ReadFromKafkaStreaming.py 其中spark-streamin ...
分类：
编程语言 时间：
2017-05-01 20:54:28
阅读次数：
326
一、依赖安装 安装JDK 二、文件准备 hadoop-2.7.3.tar.gz 2.2 下载地址 http://hadoop.apache.org/releases.html 三、工具准备 3.1 Xshell 3.2 Xftp 四、部署图 master:192.168.136.128 slave: ...
分类：
其他好文 时间：
2017-04-25 21:17:35
阅读次数：
373
一、文件准备 scala-2.12.1.tgz 下载地址: http://www.scala-lang.org/download/2.12.1.html 二、工具准备 2.1 Xshell 2.2 Xftp 三、操作步骤 3.1 通过Xftp将下载下来的Scala上传到指定虚拟机上传到/usr目录下 ...
分类：
Web程序 时间：
2017-04-25 21:13:05
阅读次数：
218
一、文件准备 下载jdk-8u131-linux-x64.tar.gz 二、工具准备 2.1 Xshell 2.2 Xftp 三、操作步骤 3.1 解压文件： $ tar zxvf jdk-8u131-linux-x64.tar.gz 解压后文件目录移动到/opt/modules/下 建立连接jdk ...
分类：
其他好文 时间：
2017-04-25 19:58:04
阅读次数：
174
