课程内容 Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲） Spark修炼之道（进阶篇）——Spark入门到精通（30讲） Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲） Spark修炼之道（高级篇）——Spark源代码解析（50讲） 部分内容 ...
分类：
其他好文 时间：
2017-08-04 16:46:19
阅读次数：
289
转自云栖社区： https://yq.aliyun.com/articles/60354?spm=5176.8251999.569296.36.siyXRn 周志湖 2015-08-25 21:23:00 浏览305 评论0 摘要： 本节主要内容 缓冲区的使用 文件的存盘与读盘 文本查找 文本替换 ...
分类：
系统相关 时间：
2017-04-25 16:46:25
阅读次数：
264
作者：周志湖1. 获取数据本文通过将github上的Spark项目git日志作为数据，对SparkSQL的内容进行详细介绍
数据获取命令如下：[root@master spark]# git log --pretty=format:'{"commit":"%H","author":"%an","author_email":"%ae","date":"%ad","message":"%f"}' >...
分类：
数据库 时间：
2016-02-06 10:27:16
阅读次数：
340
1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an...
分类：
数据库 时间：
2015-12-31 12:53:47
阅读次数：
970
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-12-28 22:09:41
阅读次数：
246
作者：周志湖
微信号：zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建
kafka 安装与配置到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz
http://kafka.apache.org/downloads.html
下载完成后，使用命令
tar...
分类：
其他好文 时间：
2015-12-03 00:49:36
阅读次数：
408
主要内容
Spark SQL、DataFrame与Spark Streaming
1. Spark SQL、DataFrame与Spark Streaming源码直接参照：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/SqlNetworkW...
分类：
数据库 时间：
2015-11-29 19:41:25
阅读次数：
243
Driver与Executor间的消息传递
class DriverEndpoint(override val rpcEnv: RpcEnv, sparkProperties: Seq[(String, String)])
extends ThreadSafeRpcEndpoint with Logging {
//省略非关键代码
override def rece...
分类：
其他好文 时间：
2015-11-06 00:23:27
阅读次数：
450
Task执行在上一节中，我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令，该命令的接收者是CoarseGrainedExecutorBackend（Standalone模式），类定义源码如下：private[spark] class CoarseGrainedExecutorBack...
分类：
其他好文 时间：
2015-10-29 00:49:13
阅读次数：
243
博文推荐：http://blog.csdn.net/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje...
分类：
其他好文 时间：
2015-10-25 01:01:27
阅读次数：
226
