https://files.cnblogs.com/files/wifi0/spark2.1.1example_api_sql_streaming_eclipseProject.ziphttps://files.cnblogs.com/files/wifi0/runconfig.zip 搭建代码阅读 ...
分类：
系统相关 时间：
2017-11-07 19:55:13
阅读次数：
218
1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。 ...
分类：
其他好文 时间：
2017-10-29 17:32:47
阅读次数：
200
LocalSparkContext.scala import org.apache.spark.{SparkConf, SparkContext} import org.scalatest._ trait LocalSparkContext extends BeforeAndAfterAll { s ...
master:192.168.11.2 s1:192.168.11.3 s2 :192.168.11.4 共三个节点 第一步配置(三台一样) http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/ClusterS... ...
分类：
其他好文 时间：
2017-10-13 23:43:29
阅读次数：
206
一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文：http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文：http://ww ...
分类：
其他好文 时间：
2017-10-01 22:04:55
阅读次数：
175
java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 这是因为代码中调用的是spark2.0的接口，但是提交任务采用的是sp ...
分类：
其他好文 时间：
2017-10-01 21:11:58
阅读次数：
887
Cloudera默认值是提供Spark1.6的安装，下面介绍如何来安装spark2.1 1. csd包：http://archive.cloudera.com/spark2/csd/ 2. parcels：http://archive.cloudera.com/spark2/parcels/2.1. ...
分类：
其他好文 时间：
2017-09-30 00:43:01
阅读次数：
238
学习spark任何技术之前，请先正确理解spark，可以参考：正确理解spark以下对RDD的三种创建方式、单类型RDD基本的transformationapi、采样Api以及pipe操作进行了pythonapi方面的阐述一、RDD的三种创建方式从稳定的文件存储系统中创建RDD，比如localfileSystem或者hdfs等，如下：..
分类：
编程语言 时间：
2017-09-22 11:58:32
阅读次数：
224
学习spark任何的技术前，请先正确理解spark，可以参考:正确理解spark以下是在mac操作系统上配置用python开发spark的环境一、安装pythonspark2.2.0需要python的版本是Python2.6+或者Python3.4+可以参考：http://jingyan.baidu.com/article/7908e85c78c743af491ad261.html二、下..
分类：
编程语言 时间：
2017-09-21 23:33:59
阅读次数：
447
