在spark-shell中将数据保存到cassandra：var data = normalfill.map(line => line.split("\u0005"))data.map( line => (line(0), line(1), line(2))) ).saveToCassandra( ...
分类：
其他好文 时间：
2016-01-21 19:49:38
阅读次数：
450
Spark主要的编程语言是Scala，选择Scala是因为它的简洁性（Scala可以很方便在交互式下使用）和性能（JVM上的静态强类型语言）。Spark支持Java编程，但对于使用Java就没有了Spark-Shell这样方便的工具，其它与Scala编程是一样的，因为都是JVM上的语言，Scala与...
分类：
其他好文 时间：
2015-12-21 23:42:49
阅读次数：
171
spark中，不论spark-shell还是spark-submit，都可以设置memory大小，但是有的同学会发现有两个memory可以设置。分别是driver memory 和executor memory。从名字上大概可以猜出大概。具体就是说driver memory并不是master分配了多...
分类：
其他好文 时间：
2015-11-25 10:57:09
阅读次数：
199
于Spark它是一个计算框架，于Spark环境，不仅支持单个文件操作，HDFS档，同时也可以使用Spark对Hbase操作。从企业的数据源HBase取出。这涉及阅读hbase数据，在本文中尽快为了尽可能地让我们可以实践和操作Hbase。Spark Shell 来进行Hbase操作。一、环境：Haoo...
分类：
其他好文 时间：
2015-10-27 13:09:35
阅读次数：
523
在spark-default.conf文件中明明配置了mysql的数据源连接随后启动spark-shell 执行如下测试代码：import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.sql.{SaveMode,...
分类：
数据库 时间：
2015-10-26 12:11:11
阅读次数：
296
问题：
spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at line 1, column 5. Encountered: "@" (64), after : "".环境：
spa...
分类：
数据库 时间：
2015-10-05 20:50:33
阅读次数：
430
Using MLLib in ScalaFollowing code snippets can be executed in spark-shell.Binary ClassificationThe following code snippet illustrates how to load a s...
分类：
编程语言 时间：
2015-09-06 19:49:55
阅读次数：
460
Spark Streaming初试 yum install nc.x86_64 ./bin/spark-shell --total-executor-cores 34? 敲入下面程序： import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext...
分类：
其他好文 时间：
2015-09-01 20:07:57
阅读次数：
280
Spark提供了交互式shell，交互式shell让我们能够点对点（原文：ad hoc）数据分析。如果你已经使用过R，Python，或者Scala中的shell，或者操作系统shell（例如bash），又或者Windows的命令提示符界面，你将会对Spark的shell感到熟悉。
但实际上Spark shell与其它大部分shell都不一样，其它大部分shell让你通过单个机器上的磁盘或者内...
分类：
编程语言 时间：
2015-08-29 21:45:24
阅读次数：
632
既然你已经在shell里运行了你的第一个Spark代码片段，是时候来学习在shell里面编程的更多细节了。
从上层看，每一个Spark程序都是由一个驱动程序组成，这个驱动程序在集群上发布各种各样的平行操作。驱动程序包含你的应用程序的main函数，定义在集群上的分布式数据集，并且将一些操作作用在这些数据集上。在之前的例子中，驱动程序是Spark shell本身，你只需要在里面输入你想要运行...
分类：
其他好文 时间：
2015-08-29 09:52:10
阅读次数：
262
