1、持久性 kafka使用文件存储消息，这就直接决定kafka在性能上严重依赖文件系统的本身特性。且无论任何OS下，对文件系统本身的优化几乎没有可能。因为kafka是对日志进行append操作，因此磁盘检索的开支是较小的；同时为了减少磁盘写入的次数，broker会将消息暂时buffer起来，当消息的 ...
分类：
其他好文 时间：
2019-04-24 00:23:31
阅读次数：
184
"一、存储格式行存储和列存储" "二、Hive文件存储格式" "三、创建语句和压缩" 一、存储格式行存储和列存储 1. 行存储可以理解为一条记录存储一行，通过条件能够查询一整行数据。 2. 列存储，以字段聚集存储，可以理解为相同的字段存储在一起。 二、Hive文件存储格式 1. TEXTFILE, ...
分类：
其他好文 时间：
2019-03-02 01:07:09
阅读次数：
357
第8章 压缩和存储（Hive高级）8.1 Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码8.2 Hadoop压缩配置8.2.1 MR支持的压缩编码8.2.2 压缩参数配置8.3 开启Map输出阶段压缩8.4 开启Reduce输出阶段压缩8.5 ...
分类：
其他好文 时间：
2019-02-28 19:54:13
阅读次数：
193
参考From <https://dirtysalt.github.io/snappy.html> Snappy API From <https://www.npmjs.com/package/snappy> Snappy 是一个 C++ 的用来压缩和解压缩的开发包，其目标不是较大限度压缩，而且不兼容 ...
分类：
移动开发 时间：
2019-02-21 18:53:21
阅读次数：
223
创建parquet table :create table mytable(a int,b int) STORED AS PARQUET;创建带压缩的parquet table:create table mytable(a int,b int) STORED AS PARQUET TBLPROPER ...
分类：
其他好文 时间：
2019-01-29 20:28:59
阅读次数：
501
合并openjpeg/soxr/vidstab/snappy等多个cmake库时，为了解决下述问题： relocation R_X86_64_32 against `.text' can not be used when making a shared object; recompile with ...
分类：
其他好文 时间：
2019-01-29 18:09:35
阅读次数：
1000
mongodb3+版本之后支持zlib和snappy。 创建压缩的集合 db.createCollection( "email", {storageEngine:{wiredTiger:{configString: 'block_compressor=zlib'}}}) 插入测试数据： for (v ...
分类：
数据库 时间：
2018-12-05 21:02:14
阅读次数：
291
Mapreduce中由于sort的存在，MapTask和ReduceTask直接是工作流的架构。而不是数据流的架构。在MapTask尚未结束，其输出结果尚未排序及合并前，ReduceTask是又有数据输入的，因此即使ReduceTask已经创建也只能睡眠等待MapTask完成。从而可以从MapTas ...
分类：
其他好文 时间：
2018-11-23 14:09:54
阅读次数：
165
一、linux简介 01.Linux简介 linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹 在1991年10月5日首次发布。，在加上用户空间的应用程序之后，成为Linux操作系统。 应用：长时间的运行编写的程序代码，可以安装在各种计算机硬件设备中，如： 手机、平... ...
分类：
其他好文 时间：
2018-11-05 00:00:00
阅读次数：
182
1、compression 默认值是 NONE 即不使用压缩， 这个参数意思是该列族是否采用压缩，采用什么压缩算 法 方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'} 建议采用 SNAPPY 压缩算法 ， HBase 中，在 Snappy ...
分类：
其他好文 时间：
2018-09-18 16:02:20
阅读次数：
144
