标签：content 转换 分割 src image mapr 架构 samza center
目录：
“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。
大数据的4V特征-来源
公司的“大数据”
随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如：
1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G；
2、平均每天产生签约视频文件6000个，每个平均250M，磁盘空间每天消耗1T;
……
“草船借箭”和大数据有什么关系呢？对天象的观察是基于一种对风、云、温度、湿度、光照和所处节气的综合分析这些数据来源于多元化的“非结构”类型，并且数据量较大，只不过这些数据输入到的不是电脑，而是人脑并最终通过计算分析得出结论。
Hadoop核心设计
HDFS介绍-文件读流程
MapReduce——映射、化简编程模型
输入数据->Map分解任务->执行并返回结果->Reduce汇总结果->输出结果
Hbase——分布式数据存储系统
Client：使用HBase RPC机制与HMaster和HRegionServer进行通信
Zookeeper：协同服务管理，HMaster通过Zookeepe可以随时感知各个HRegionServer的健康状况
HMaster: 管理用户对表的增删改查操作
HRegionServer：HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据
HRegion:Hbase中分布式存储的最小单元，可以理解成一个Table
HStore：HBase存储的核心。由MemStore和StoreFile组成。
HLog：每次用户操作写入Memstore的同时，也会写一份数据到HLog文件
还有哪些NoSQL产品？
一个高并发网站的DB进化史
关系模型>聚合数据模型的转换-基本变换
关系模型>聚合数据模型的转换-内嵌变换
关系模型>聚合数据模型的转换-分割变换
关系模型>聚合数据模型的转换-内联变换
Hadoop2.0
MapReduce：
JobTracker：协调作业的运行。
TaskTracker：运行作业划分后的任务。
标签：content 转换 分割 src image mapr 架构 samza center
原文地址：http://www.cnblogs.com/felixzh/p/6035880.html
