hadoop是一个分布式的基础架构，利用分布式实现高效的计算与储存，最核心的设计在于HDFS与MapReduce，HDFS提供了大量数据的存储，mapReduce提供了大量数据计算的实现，通过Java项目实现hadoop job处理海量数据解决复杂的需求。
一、基本环境及相关软件的配置
详细配置说明：基本环境配置及权限申请
二、hadoop项目开发流程
hadoop主要的...
分类：
其他好文 时间：
2014-11-19 18:49:25
阅读次数：
175
基于lucene的分页有两种：
lucene3.5之前分页提供的方式为再查询方式（每次查询全部记录，然后取其中部分记录，这种方式用的最多），lucene官方的解释：由于我们的速度足够快。处理海量数据时，内存容易内存溢出。
lucene3.5以后提供一个searchAfter，这个是在特大数据量采用（亿级数据量），速度相对慢一点，像google搜索图片的时候，点击更多，然后再出来一批。这种方式就是把数据保存在缓存里面。然后再去取。
以下是再查询部分代码：...
分类：
Web程序 时间：
2014-11-17 15:55:25
阅读次数：
189
怎样处理海量数据在实际的工作环境下，很多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有下面几个方面：一、数据量过大，数据中什么情况都可能存在。假设说有10条数据，那么大不了每条去逐一检查，人为处理，假设有上百条数据，也能够考虑，假设数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具...
分类：
其他好文 时间：
2014-11-05 14:19:00
阅读次数：
996
怎样处理海量数据在实际的工作环境下，很多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有下面几个方面：一、数据量过大，数据中什么情况都可能存在。假设说有10条数据，那么大不了每条去逐一检查，人为处理，假设有上百条数据，也能够考虑，假设数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具...
分类：
其他好文 时间：
2014-10-24 20:31:11
阅读次数：
313
怎样处理海量数据在实际的工作环境下，很多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有下面几个方面：一、数据量过大，数据中什么情况都可能存在。假设说有10条数据，那么大不了每条去逐一检查，人为处理，假设有上百条数据，也能够考虑，假设数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具...
分类：
其他好文 时间：
2014-10-23 18:59:38
阅读次数：
159
我们已经进入了大数据处理时代，须要高速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品能够从各种各...
分类：
其他好文 时间：
2014-10-19 22:35:01
阅读次数：
286
怎样处理海量数据在实际的工作环境下，很多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有下面几个方面：一、数据量过大，数据中什么情况都可能存在。假设说有10条数据，那么大不了每条去逐一检查，人为处理，假设有上百条数据，也能够考虑，假设数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具...
分类：
其他好文 时间：
2014-09-30 20:59:40
阅读次数：
310
前言对技术，我还是抱有敬畏之心的。Hadoop概述Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的离线分析工具。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的同学可以从Google三驾马车:GFS,mapreduce,Bigtable开始了...
分类：
其他好文 时间：
2014-09-10 13:52:40
阅读次数：
298
什么是hbasehbase是一个高可靠性、高性能、高吞吐量、面向列、可伸缩的分布式数据库，设计的最初目的是用来解决关系型数据库在处理海量数据时的局限性。hbase特性海量数据（TB\PB）高吞吐量高性能（海量数据中实现高效随机读取）可伸缩能够同时处理结构化和非结构化的数据不需要拥有传统数据库所具备的...
分类：
其他好文 时间：
2014-08-29 17:58:58
阅读次数：
236
怎样处理海量数据在实际的工作环境下，很多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有下面几个方面：一、数据量过大，数据中什么情况都可能存在。假设说有10条数据，那么大不了每条去逐一检查，人为处理，假设有上百条数据，也能够考虑，假设数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具...
分类：
其他好文 时间：
2014-08-22 19:35:49
阅读次数：
278
