近期一直在做android自己主动打包，之前已经完毕了用纯命令行的形式打包、原生态ant脚本打包。和基于android的SDK的打包。而且实现了多渠道打包，后来同事推荐了gradle,网上的资料说gradle各种好，自己也感兴趣是实现一下。事实上一般来说因为android对eclipse的支持减弱， ...
分类：
移动开发 时间：
2017-06-03 22:36:37
阅读次数：
246
apply plugin: 'com.android.application' //说明 module 的类型，com.android.application 为程序 android { compileSdkVersion 22 //编译的SDK版本 buildToolsVersion "22.0.... ...
分类：
其他好文 时间：
2017-03-15 12:01:27
阅读次数：
210
8. 高级文件操作：存储映射 （1）概念： 存储映射是一个磁盘文件与存储空间的一个缓存相映射，对缓存数据的读写就相应的完成了文件的读写。 （2）mmap和munmap函数 头文件 #include<sys/types.h> #include<sys/mman.h> 函数 void* mmap(voi ...
分类：
其他好文 时间：
2017-01-23 21:30:51
阅读次数：
254
首先声明，此文是属于纯粹收藏文，感觉讲的很不错。 本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE（IEEE International Conf ...
分类：
其他好文 时间：
2016-12-14 18:32:37
阅读次数：
255
例如： PS：下面的代码已经测试通过，木有问题。 http://hugh-wangp.iteye.com/blog/1405804 基于HIVE文件格式的map reduce代码编写http://smallboby.iteye.com/blog/1596776 普通文本压缩成RcFile的通用类ht ...
分类：
其他好文 时间：
2016-12-02 11:58:13
阅读次数：
273
Hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SEQUENCEFILE，RCFILE，ORCFILE格式 ...
分类：
其他好文 时间：
2016-11-26 11:59:53
阅读次数：
420
1.存储格式 textfile rcfile orc parquet 2.存储方式 按行存储 -》textfile 按列存储 -》parquet 3.压缩比 4.存储textfile的原文件 并加载数据 5.大小 6.保存为tectfile，经过mapreduce 7.结果的大小 8.保存为orc格 ...
分类：
其他好文 时间：
2016-11-15 23:41:32
阅读次数：
253
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析...
分类：
其他好文 时间：
2016-07-10 18:54:37
阅读次数：
650
hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式...
分类：
其他好文 时间：
2016-05-13 03:06:42
阅读次数：
241
Hive基础语法 1、创建表 – 用户表 hive目前支持三种方式： 1）就是最普通的textfile，数据不做压缩，磁盘开销大，解析开销也大 2）SquenceFIle,hadoop api提供的一种二进制API方式，其具有使用方便、可分割、可压缩等特点。 3）rcfile行列存储结合的方式，它会 ...
分类：
其他好文 时间：
2016-05-02 16:49:09
阅读次数：
317
