SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生。但是，随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。...
分类：
数据库 时间：
2015-08-26 09:30:54
阅读次数：
416
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、SparkSQL的发展历程1.1Hive and SharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运...
分类：
数据库 时间：
2015-08-26 09:26:23
阅读次数：
340
开源大数据处理工具：查询引擎：phoenix、Stinger、Presto、shark、pig、Cloudera impala、Apache Drill、Apache Tajo、Hive流式计算：Facebook Puma、Twitter Rainbird、YAhoo S4、Twitter Stor...
分类：
其他好文 时间：
2015-07-26 17:01:21
阅读次数：
343
Some researchers take issue with this however - a shark's vision is too good and its sense of smell too sophisticated to confuse us with a seal, argue...
分类：
其他好文 时间：
2015-06-09 17:01:51
阅读次数：
122
首先介绍一下Shark的概念
Shark简单的说就是Spark上的Hive，其底层依赖于Hive引擎的
但是在Spark平台上，Shark的解析速度是Hive的几多倍
它就是Hive在Spark上的体现，并且是升级版，一个强大的数据仓库，并且是兼容Hive语法的下面给出一张来自网上的Shark构架图从图上可以看出，Spark的最底层大部分还是基于HDFS的，Shark中的数据信息等也是对应着H...
分类：
数据库 时间：
2015-05-15 09:11:25
阅读次数：
314
原题地址对于给定的两个约束条件，可以通过联立方程组直接解出子序列A的和和子序列B的和，即sum(A) = (r + s) / 2，sum(B) = (r - s) / 2，假设|A|=|B|=n所以问题变成了，在一个数组中求长度为n且子序列和为sum(A)或sum(B)有多少个。假设count(n,...
分类：
其他好文 时间：
2015-04-29 00:40:25
阅读次数：
187
本文描述了Windows 7（64位）上基于Visual Studio 2008编译和安装开源C++机器学习库Shark的完整过程，并对安装过程中产生的问题进行说明。该过程依赖于CMake和Boost。...
分类：
编程语言 时间：
2015-04-01 11:24:26
阅读次数：
270
Hive （http://en.wikipedia.org/wiki/Apache_Hive ）（非严格的原文顺序翻译） Apache Hive是一个构建在Hadoop上的数据仓库框架，它提供数据的概要信息、查询和分析功能。最早是Facebook开发的，现在也被像Netflix这样的公司使用。Ama...
分类：
数据库 时间：
2015-02-06 06:59:34
阅读次数：
283
目前实时或者是准实时的大数据模型越来越多，技术是否先进并非流行的首要原因，社区圈子的繁荣与否才是最重要的。主要有Redshift-亚马逊出品的一款MPP支持PB级别数据库Hive-基于hadoop 上面的SQL引擎，将sql翻译为Map-Reduce任务；Shark- 基于spark计算框架，与Hi...
分类：
其他好文 时间：
2015-01-15 20:08:35
阅读次数：
256
我们的Hadoop生产环境有两个版本，其中一个是1.0.3，为了支持日志压缩和split，我们添加了hadoop-1.2中关于Bzip2压缩的feature. 一切运行良好。
为了满足公司对迭代计算的需求(复杂HiveSQL,广告推荐算法，机器学习 etc), 我们构建了自己的Spark集群，最初是Standalone Mode，版本spark-0.9.1,支持Shark。
上线后，问题接踵而...
分类：
编程语言 时间：
2015-01-14 11:10:35
阅读次数：
403
