spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
spark jdbc分支源码下载地址 https://github.com/apache/spark/tree/branch-1.0-jdbc编译spark jdbc ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --wit.....
分类：
数据库 时间：
2014-07-16 21:04:35
阅读次数：
306
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
从源代码的角度来看一下Spark SQL的核心执行流程吧...
分类：
数据库 时间：
2014-07-12 21:07:32
阅读次数：
299
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
在spark-shell中可以定制成接近shark的操作，让熟悉sql的人轻松上手。...
分类：
其他好文 时间：
2014-07-10 23:08:16
阅读次数：
210
http://ns.adobe.com/mxml/2009"
xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" xmlns:supportClasses="com.esri.ags.skins.supportClasses.*" minWidth...
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。...
分类：
数据库 时间：
2014-07-10 21:14:38
阅读次数：
737
概述
最近工作上忙死了……广播变量这一块其实早就看过了，一直没有贴出来。
本文基于Spark 1.0源码分析，主要探讨广播变量的初始化、创建、读取以及清除。
类关系
BroadcastManager类中包含一个BroadcastFactory对象的引用。大部分操作通过调用BroadcastFactory中的方法来实现。
BroadcastFactory是一个Trait，有两个直接子...
分类：
其他好文 时间：
2014-07-10 19:43:49
阅读次数：
298
本文介绍了spark对hadoop sequencefile的读写支持，实现方式以及简单的使用方法。sequencefile和textfile类似，在上下文里有直接提供读取方法，但最终走的还是hadoopFile方法。...
分类：
其他好文 时间：
2014-07-10 17:11:52
阅读次数：
951
