作者在工作中遇到了类似流式数据实时接入的业务场景，所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具，文中的图片来自淘宝数据仓库团队交流过程中的sildes，也参考了一些相关文档。
业务背景
TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点（基于Hbase）。
目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据...
分类：
其他好文 时间：
2014-05-22 10:58:59
阅读次数：
334
这篇文章不提原理，讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？
官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了...
分类：
其他好文 时间：
2014-05-22 10:34:39
阅读次数：
288
前言1.
创建表：（由master完成）首先需要获取master地址（master启动时会将地址告诉zookeeper）因而客户端首先会访问zookeeper获取master的地址client和master通信，然后有master来创建表（包括表的列簇，是否cache，设置存储的最大版本数，是否压缩...
分类：
编程语言 时间：
2014-05-19 14:23:43
阅读次数：
392
文件对象内建方法列表
文件对象的方法
操作
file.close()
关闭文件
file.fileno()
返回文件的描述符（file descriptor，FD，整数值）
file.flush()
刷新文件的内部缓冲区
file.isatty()
判断fil...
分类：
编程语言 时间：
2014-05-18 06:23:28
阅读次数：
197
在讲完之后HFile和HLog之后，今天我想分享是Put在Region
Server经历些了什么？相信前面看了《HTable探秘》的朋友都会有印象，没看过的建议回去先看看，Put是通过MultiServerCallable来提交的多个Put，好，我们就先去这个类吧，在call方法里面，我们找到了这句...
分类：
其他好文 时间：
2014-05-17 22:54:25
阅读次数：
397
首先＜%@ include file=” ”%＞：为指令元素＜jsp:include
page=” ” flush=”true”/＞：为
动作元素先说指令元素：include指令元素读入指定页面的内容。并把这些内容和原来的页面融合到一起。然后经过两个阶段:1.将jsp翻译成servlet2.serv...
分类：
Web程序 时间：
2014-05-17 22:53:25
阅读次数：
322
'''
程序31】
题目：请输入星期几的第一个字母来判断一下是星期几，如果第一个字母一样，则继续
判断第二个字母。
1.程序分析：用情况语句比较好，如果第一个字母一样，则判断用情况语句或if语句判断第二个字母。
2.程序源代码：
'''
from sys import stdin
letter = stdin.read(1)
stdin.flush()
while letter != 'Y...
分类：
编程语言 时间：
2014-05-16 01:47:37
阅读次数：
272
数据导入HBase最常用的三种方式及实践分析
摘要：要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase
的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。
【编者按】要使用Hadoop，数据合并至...
分类：
其他好文 时间：
2014-05-15 18:15:19
阅读次数：
495
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。
...
分类：
其他好文 时间：
2014-05-15 18:13:55
阅读次数：
438
