大数据架构设计原则从功能模块可划分为：数据标准（数据标准字典，数据流程规范）;数据模型（数据主题域，概念模型，主数据体系，模型选择）;数据管理体系(管理规范及流程，质量控制，元数据管理，调度管理，日志监控）从业务需求，主要要求有：灵活性，简易性，安全性，连续性..
分类：
其他好文 时间：
2014-09-29 19:44:51
阅读次数：
403
大数据丛书大数据日知录：架构与算法（大数据领域专家力作，专注大数据架构和算法，全面梳理大数据相关技术）张俊林著ISBN978-7-121-24153-62014年9月出版定价：69.00元404页16开编辑推荐这是一本心血之作，历时3年，质量上乘。从架构与算法的角度，比较全面地分门别类梳理了大..
分类：
其他好文 时间：
2014-09-26 01:09:59
阅读次数：
469
大数据丛书大数据日知录：架构与算法（大数据领域专家力作，专注大数据架构和算法，全面梳理大数据相关技术）张俊林 著 ISBN 978-7-121-24153-62014年9月出版定价：69.00元 404页16开编辑推荐这是一本心血之作，历时3年，质量上乘。从架构与算法的角度，比较全面地分门别类梳理了...
分类：
其他好文 时间：
2014-09-25 17:02:59
阅读次数：
330
随着互联网技术的不断创新与发展，云技术的迅速蔓延，大数据的广泛应用以及智能移动终端的全球使用率迅速提升，传统的应用软件已愈发不能满足人们工作和生活的需要，这就需要软件企业不断调整和优化服务策略，从传统电脑终端向多屏服务转化，从办公室服务转到云端服务，从传统的数据架构向多层架构转换，只有这样，才能始终保持在行业的前沿，立于不败之地。
从桌面向桌面+移动终端转变
根据eMark...
分类：
其他好文 时间：
2014-09-23 16:49:14
阅读次数：
131
《大数据日知录：架构与算法》前言
像移动互联网、O2O、可穿戴设备等概念一样，“大数据”从甫一提出到飓风般席卷并风靡全球，从最初的技术名词到形成渗透各行各业的社会现象，所耗时间仅几年而已，其兴也勃焉。
那么，大数据是否会像很多曾经火热现在已难觅踪迹的流行概念一样，将来某日，人们静心抬眼，发现风已去而水波不兴，徒留夕阳下波光粼粼的涟漪，让人不禁哀叹其亡也忽焉？
本书的背景
...
分类：
其他好文 时间：
2014-09-16 10:48:10
阅读次数：
284
Sqoop 2 Metadata design
本文描述了Sqoop2元数据架构的设计。分成几个部分从不同的层次描述来帮助理解这个设计。
Top Level Structures
目前有四个顶层的结构：
Connector
Connector将控制Sqoop2中整个数据移动过程。在系统中，有多个Connector可用，每一个特定的数据存储可能有自己特定的Connector（一个Oracl...
分类：
其他好文 时间：
2014-09-15 11:20:18
阅读次数：
292
首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访...
分类：
其他好文 时间：
2014-09-10 17:58:21
阅读次数：
195
问题出现于我试图向自建网页中加入实时时间开始。我之前已经知道python中有有关事件和日期的模块datetime。以下导入datetime并作实验。>>> import datetime>>> type(datetime)可知datetime属于module（模块）类。此外，类似的时间相关模块还有t...
分类：
编程语言 时间：
2014-08-25 21:02:04
阅读次数：
219
HBase和Solr可以通过协处理器Coprocessor的方式向Solr发出请求，Solr对于接收到的数据可以做相关的同步：增、删、改索引的操作，这样就可以同时使用HBase存储量大和Solr检索性能高的优点了，更何况HBase和Solr都可以集群。这对海量数据存储、检索提供了一种方式，将存储与索...
分类：
其他好文 时间：
2014-08-21 21:05:04
阅读次数：
295
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
