背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析...
分类：
其他好文 时间：
2016-07-10 18:54:37
阅读次数：
650
1、Ceph是分布式存储系统，支持三种接口。Object：有原生的API，而且也兼容Swift和S3的APIBlock：支持精简配置、快照、克隆File：Posix接口，支持快照Ceph也是分布式存储系统，它的特点是：高扩展性：使用普通x86服务器，支持10~1000台服务器，支持TB到PB级的扩展。高可靠性：..
分类：
其他好文 时间：
2016-06-30 23:39:06
阅读次数：
485
在MongoDB中实现聚合函数 随着组织产生的数据爆炸性增长，从GB到TB，从TB到PB，传统的数据库已经无法通过垂直扩展来管理如此之大数据。传统方法存储和处理数据的成本将会随着数据量增长而显著增加。这使得很多组织都在寻找一种经济的解决方案，比如NoSQL数据库，它提供了所需的数据存储和处理能力、扩 ...
分类：
数据库 时间：
2016-06-30 18:26:54
阅读次数：
317
PB函数大全 Abs()功能计算绝对值。语法Abs ( n )参数n：要得到绝对值的数值型变量或表达式返回值返回值的数据类型与n的数据类型相同，函数执行成功时返回n的绝对值。如果参数n的值为NULL，Abs()函数返回NULL。 Ceiling()功能返回大于n的最小整数。语法Ceiling ( n ...
分类：
其他好文 时间：
2016-06-28 09:21:22
阅读次数：
232
STM32F103 使用TIM3产生四路PWM 程序如下： 在产生PWM时，如果输出引脚已经被使用，就要对引脚进行重映射，阅读《STM32中文参考手册2010》第119页可知： 对TIM3而言： 1、当没有重映射时，TIM3的四个通道CH1，CH2，CH3，CH4分别对应PA6，PA7,PB0,PB ...
分类：
其他好文 时间：
2016-06-25 16:25:44
阅读次数：
1127
1.Hadoop1.0和2.0的区别 1.0 = hdfs + mapreduce 2.0 = hdfs + yarn + mapreduce + other dataprocess 2.软件层次 1. 分布式存储层 HDFS a,良好的扩展性 b,高容错性 c,适合PB以上的数据 组成： mast ...
分类：
其他好文 时间：
2016-06-24 18:42:04
阅读次数：
167
实现进度条my_pb.sh运行结果进行1-100之间的求和sum.sh运行结果递归实现：sum_recursion.sh运行结果
分类：
系统相关 时间：
2016-06-23 01:11:27
阅读次数：
255
2012年秋季Facebook启动了Presto，Presto的目的是在几百PB级别数据量上面进行准实时分析。在摒弃了一些外部项目以后，Facebook准备开发他们自己的分布式查询引擎。Presto的语法基于ANSI SQL，大多数分布式查询引擎需要用户去学习一种新的语法，有的语法类似SQL，但是没 ...
分类：
数据库 时间：
2016-06-22 18:45:44
阅读次数：
247
1 使DataWindow列只能追加不能修改如何使DataWindow中的数据只能追加新记录而不能修改，利用 Column 的 Protect 属性可以很方便的做到这一点，方法如下：将每一列的 Protect 属性设置为：If( IsRowNew(), 0, 1) )在 PowerScript 中可 ...
分类：
其他好文 时间：
2016-06-21 17:40:30
阅读次数：
225
http://www.cnblogs.com/charley_yang/archive/2010/12/15/1907384.html 第一、四个用途 用途一： 定义一种类型的别名，而不只是简单的宏替换。可以用作同时声明指针型的多个对象。比如：char* pa, pb; // 这多数不符合我们的意图 ...
分类：
编程语言 时间：
2016-06-21 10:38:17
阅读次数：
160
