第29本：《大数据时代》最近大数据火了，还经常听到Hadoop和Mapreduce，我经常勘探地震资料处 理后的地震数据体，动不动几十个G，算不算大数据？好像与现在说的这个大数据概念相差太远，就一直想了解一下这个大数据到底是什么含义。从SUN那里借来 《大数据时代》读了一读，明白了不少基本概念和示例...
分类：
其他好文 时间：
2015-09-21 01:31:06
阅读次数：
202
一、背景进入多核时代已经很久了，大数据概念也吵得沸沸扬扬，不管你喜欢不喜欢，不管你遇到没遇到，big-data或bigger-data都必须正视.处理大数据，基本都离不开分布式计算和分布式存储，这其中以hadoop最为使用广泛和经典。分布式系统，就离不开计算系统、网络系统、文件系统和数据库系统。这么多系统，之间又是如何协作的呢？
通讯过程又是如何保障高性能的呢？1.单处理器在以前的单核心cpu下，...
分类：
其他好文 时间：
2015-05-04 15:40:02
阅读次数：
262
一.背景进入多核时代已经很久了，大数据概念也吵得沸沸扬扬，不管你喜欢不喜欢，不管你遇到没遇到，big-data或bigger-data都必须正视.处理大数据，基本都离不开分布式计算和分布式存储，这其中以hadoop最为使用广泛和经典。分布式系统，就离不开计算系统、网络系统、文件系统和数据库系统。这么多系统，之间又是如何协作的呢？
通讯过程又是如何保障高性能的呢？单处理器在以前的单核心cpu下，我们...
分类：
其他好文 时间：
2015-05-04 08:45:16
阅读次数：
234
一、数据的存储1.数据类型首先来看看计算机是怎么存储数据的。总的来说，计算机中存储的数据可以分为两种：静态数据和动态数据。1> 静态数据概念：静态数据是指一些永久性的数据，一般存储在硬盘中。硬盘的存储空间一般都比较大，现在普通计算机的硬盘都有500G左右，因此硬盘中可以存放一些比较大的文件。存储的时...
分类：
其他好文 时间：
2015-04-28 20:28:43
阅读次数：
238
按照时间的早晚从大数据出现之前的时代讲到现在。暂时按一个城市来比喻吧，反正Landscape的意思也大概是”风景“的意思。早在大数据概念出现以前就存在了各种各样的关于数学、统计学、算法、编程语言的研究、讨论和实践。这个时代，算法以及各种数学知识作为建筑的原料(比如钢筋、砖块)，编程语言作为粘合剂(比...
分类：
其他好文 时间：
2015-04-23 01:58:23
阅读次数：
200
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2015-04-21 14:23:49
阅读次数：
169
在数据仓库领域有一个概念叫conceptual data model，中文一般翻译为“概念数据模型”。概念数据模型设计与逻辑数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个主要步骤。概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。概念数据模型的内容包括重要的实体及实体之间...
分类：
其他好文 时间：
2015-04-08 18:10:41
阅读次数：
93
从大数据概念提出以来，这方面的发展一直在不断进行，而随着企业需求的加大，BI系统的范围也越来越大，甚至隐约超过很多产品。作为具有针对性、广泛性特点的产品，BI工具从简单的数据获取到如今的交互、决策以及分析利用，经历了质的变化，同时也给企业带来了全新的冲击。专业人士指出，大数据已经不是什么新概念，但是...
分类：
其他好文 时间：
2015-03-17 19:28:19
阅读次数：
160
学习SpringSecurity时，看到LDAP认证，不了解LDAP根本无从下手。所以转头学习了一下LDAP，搭建了一个DEMO，仅作记录。
LDAP(Lightweight Directory Access Protocol) 轻量级目录访问协议，LDAP目录以树状的层次结构来存储数据。
概念性的东西就不多说了，说一下LDAP数据交换格式中使用的比较多的几个概念：
D...
分类：
编程语言 时间：
2015-01-17 15:18:35
阅读次数：
606
