Hadoop： 适合大数据的分布式存储和计算平台
现为Apache顶级开源项目，Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算，适合大数据的分布式存储和计算平台。 ...
分类：
其他好文 时间：
2019-08-24 10:08:07
阅读次数：
82
Hbase简介Hbase概述Hbase原型是Google的BigTable论文，受到了改论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的服务器上搭建起大规模的结构化存储集 ...
分类：
其他好文 时间：
2019-08-14 10:51:52
阅读次数：
217
HBase介绍 1、关系型数据库与非关系型数据库 （1）关系型数据库 ? 关系型数据库最典型的数据机构是表，由二维表及其之间的联系所组成的一个数据组织 ? 优点： ? 1、易于维护：都是使用表结构，格式一致 ? 2、使用方便：SQL语言通用，可用于复杂查询 ? 3、复杂操作：支持SQL，可用于一个表 ...
分类：
其他好文 时间：
2019-08-03 11:10:24
阅读次数：
101
第1章 HBase简介 1.1 什么是HBase HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护， 用于支持结构化的数据存储。 官方网站：http://hbase.apache.org -- 2006年Google发表BigTab ...
分类：
其他好文 时间：
2019-06-11 20:57:01
阅读次数：
122
1.HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似 ...
分类：
其他好文 时间：
2019-05-10 23:31:47
阅读次数：
210
Bigdata：结构化数据：约束半结构化数据：非结构化数据：没有元数据；搜索引擎：搜索组件、索引组件蜘蛛程序：存储：分析处理：2003年：TheGoogleFileSystem2004年：MapReduce：SimplifiedDataProcessingOnLargeCluster2006年：BigTable：ADistributedStorageSystemforStructureDataHD
分类：
其他好文 时间：
2019-05-01 22:37:18
阅读次数：
206
1 概念 LSM = Log Structured Merge Trees 来源于google的bigtable论文。 2 解决问题 传统的数据库如MySql采用B+树存放数据，B+树是一个随机读写的数据结构。 我们知道，顺序读写要比随机读写快无数倍，所以需要把数据结构改成顺序读写。 3 应用场景 ...
分类：
其他好文 时间：
2019-04-22 12:31:21
阅读次数：
116
在 2006 年的 OSDI 上，Google 发布了名为 Bigtable: A Distributed Storage System for Structured Data 的论文，其中描述了一个用于管理结构化数据的分布式存储系统 Bigtable 的数据模型、接口以及实现等 ...
分类：
数据库 时间：
2019-04-17 09:52:54
阅读次数：
185
一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程中对数据进行压缩处理，可以有效的减少底层存储(HDFS)读写的字节数，，并且通过减少Map和Reduce阶段数据的输入输出来提升MR程序的速度，提高了网络带宽和 ...
分类：
其他好文 时间：
2019-04-08 10:38:13
阅读次数：
231
