前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{
def main(args: Array[String]) {
if (args.length == 0) {...
分类：
其他好文 时间：
2015-10-20 06:40:55
阅读次数：
197
spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr...
分类：
其他好文 时间：
2015-10-19 22:36:11
阅读次数：
300
本节主要内容
shell脚本调试
shell函数
shell控制结构初步
1. shell脚本调试当脚本出错时，需要对脚本进行调试，学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具，只需要要在脚本文件前加-x选项即可，创建debug.sh文件，内容如下：#!/bin/bash
#Filename: debug.sh
echo "scripting"
echo "d...
分类：
系统相关 时间：
2015-10-05 18:19:45
阅读次数：
297
本节主要内容
Hadoop生态圈
Spark生态圈
1. Hadoop生态圈原文地址：http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df92dc418df5a1083411b53325
下图给出...
分类：
其他好文 时间：
2015-09-19 13:54:25
阅读次数：
673
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-09-19 08:31:57
阅读次数：
230
## 本节主要内容 ##
1. 进程管理简介
2. 进程管理常用命令
3. 计划任务
## 1. 进程管理简介 ##
### （1）进程概念
进程是操作系统中非常重要的一个概念，进程是程序的执行过程，相对于程序，进程是动态的，在linux系统中，它与用户权限相关，程序与进程并没有一一对应，一个程序可能对应多个进程，例如：...
分类：
系统相关 时间：
2015-09-02 10:45:38
阅读次数：
268
本节主要内容
缓冲区的使用
文件的存盘与读盘
文本查找
文本替换
1. 缓冲区的使用在利用vim进行文本编辑时，编辑修改后的文本不会立即保存到硬盘上，而是保存在缓冲区中，如果没有把缓冲区里的文件存盘，原始文件不会被更改。vim在打开文件时将文本内容读到缓冲区中，在进行文本编辑时，修改的文本保存在缓冲区，此时硬盘上的原文件不变。下面让我们来演示一下缓冲区的使用。
假设采用vim 同时打开两个文本文件...
分类：
系统相关 时间：
2015-08-25 21:37:07
阅读次数：
291
本节主要内容
vim编辑器的三种模式
移动光标
输入模式
修改文本
作者：周志湖
微信号：zhouzhihubeyond
网名：摇摆少年梦1. vi编辑器的三种模式学会使用vi编辑器是学习linux系统的必备技术之一，因为一般的linux服务器是没有GUI界面的，linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是linux内置的文本编辑器，几乎所有的类uni...
分类：
系统相关 时间：
2015-08-25 16:40:06
阅读次数：
267
本节主要内容
Linux简史
Linux特点
Ubuntu Linux安装
Linux使用初步
1. Linux简史
要讲述大名鼎鼎的Linux，必然要先从UNIX系统谈起，下面这幅图给出了Unix系统的进化图：
图片来源：http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8Bu...
分类：
系统相关 时间：
2015-08-21 15:34:30
阅读次数：
256
课程内容
Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲）
Spark修炼之道（进阶篇）——Spark入门到精通（30讲）
Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）
Spark修炼之道（高级篇）——Spark源码解析（50讲）
部分内容会在实际编写时动态调整，或补充、或删除。Spark修炼之道（基础篇）——Linux大数据开发基础（15讲...
分类：
其他好文 时间：
2015-08-19 20:25:26
阅读次数：
720
