进军java(第一天)一·主要学习内容 1·计算机的基础知识 2·java语言的概述 3·HelloWorld案例 4·环境变量的配置二·计算机的概述 1·计算机：电子计算机，俗称电脑。是一种能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件和软件所组成，没有安...
分类：
编程语言 时间：
2015-04-17 21:53:15
阅读次数：
167
众所周知，java在处理数据量比较大的时候，加载到内存必然会导致内存溢出，而在一些数据处理中我们不得不去处理海量数据，在做数据处理中，我们常见的手段是分解，压缩，并行，临时文件等方法; 例如，我们要将数据库(不论是什么数据库)的数据导出到一个文件，一般是Excel或文本格式的CSV;对于Excel....
分类：
编程语言 时间：
2015-04-15 12:47:04
阅读次数：
187
在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处...
分类：
其他好文 时间：
2015-03-29 07:02:13
阅读次数：
127
如何处理海量数据(转)在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须...
分类：
其他好文 时间：
2015-03-18 17:23:03
阅读次数：
223
ThinkPHP处理海量数据分表机制详细代码及说明应用ThinkPHP内置的分表算法处理百万级用户数据. 数据表： house_member_0 house_member_1 house_member_2 house_member_3 模型中 class MemberModel extends Ad...
分类：
Web程序 时间：
2015-02-04 07:04:17
阅读次数：
189
Hadoop能解决的问题: 1.海量数据需要及时分析和处理。 2.海量数据需要深入分析和挖掘。 3.数据需要长期保存。问题： 1.磁盘IO成为一种瓶颈，而不是CPU资源。 2.网络带宽是一种稀缺资源。 3.硬件故障成为影响稳定的一大因素。Hadoop介绍： 1.作者:Doug Cutt...
分类：
其他好文 时间：
2015-01-03 19:43:48
阅读次数：
114
hadoop是一个分布式的基础架构，利用分布式实现高效的计算与储存，最核心的设计在于HDFS与MapReduce，HDFS提供了大量数据的存储，mapReduce提供了大量数据计算的实现，通过Java项目实现hadoop job处理海量数据解决复杂的需求。一、基本环境及相关软件的配置 具体配置说明：...
分类：
其他好文 时间：
2014-12-25 17:59:55
阅读次数：
104
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理...
分类：
数据库 时间：
2014-12-04 12:21:39
阅读次数：
236
摘要 研究背景： 1. 互联网的图片数据急剧膨胀 2. Hadoop平台下的Hdfs分布式文件系统能够很好的处理海量数据 研究内容： 1. Hadoop平台工作原理 2. Hadoop平台下图片存储系统的设计与实现 3. Hadoop平台与Web的整合 创新点： ...
分类：
其他好文 时间：
2014-11-26 20:41:31
阅读次数：
286
转自：http://www.douban.com/note/309472506/海量数据（又称大数据）已经成为各大互联网企业面临的最大问题，如何处理海量数据，提供更好的解决方案，是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广，大家都在构建自己的大数据处理，大数据分析...
分类：
其他好文 时间：
2014-11-20 18:35:59
阅读次数：
205
