一、MapReduce编程模型1. 中心思想： 分而治之2. map(映射)3. 分布式计算模型，处理海量数据4. 一个简单的MR程序需要制定map()、reduce()、input、output5. 处理的数据放在input中、处理的结果放在output中6. MR程序>八股文7. MR在处理数据 ...
分类：
其他好文 时间：
2016-07-10 23:04:48
阅读次数：
110
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。 由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行 ...
分类：
数据库 时间：
2016-06-02 16:25:55
阅读次数：
264
一、计算机常识 （一）、计算机（computer）俗称电脑，是一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。（通俗的说就是替我们完成日常工作任务的一台工作处理的机器。。。）由硬件系统和软件系统 ...
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。 由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行 ...
分类：
数据库 时间：
2016-05-24 11:47:27
阅读次数：
223
计算机（computer）俗称电脑，是一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。可分为超级计算机、工业控制计算机、网络计算机、 ...
分类：
其他好文 时间：
2016-05-16 19:40:49
阅读次数：
215
01.01 计算机概述 计算机(Computer):全称电子计算机，俗称电脑。 是一种能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。 由硬件和软件所组成，没有安装任何软件的计算机称为裸机。 常见的形式有台式计算机、笔记本计算机、大型计算机等。 01.02 计算机硬件和软件概述 计算机 ...
分类：
编程语言 时间：
2016-05-15 19:30:30
阅读次数：
256
海量数据处理 算法总结 前面我们说海量数据处理提到，从算法的角度去考虑处理海量数据。 1. Bloom Filter 【Bloom Filter】Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否 ...
分类：
编程语言 时间：
2016-04-30 13:00:19
阅读次数：
247
海量数据处理 海量数据处理 海量数据处理是基于海量数据上的存储、处理、操作。 所谓海量，就是数据量很大，可能是TB级别甚至是PB级别，导致无法一次性载入内存或者无法在较短时间内处理完成。面对海量数据，我们想到的最简单方法即是分治法，即分开处理，大而化小，小而治之。我们也可以想到集群分布式处理。 1 ...
分类：
其他好文 时间：
2016-04-30 12:59:07
阅读次数：
222
谷歌三大核心技术（三）Google BigTable中文版 谷歌三大核心技术（三）Google BigTable中文版 Bigtable：一个分布式的结构化数据存储系统 译者：alex 摘要 Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的 ...
分类：
其他好文 时间：
2016-04-30 12:56:25
阅读次数：
174
1.计算机基础知识概述 (1) 计算机 计算机（computer）俗称电脑，是一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。可分为 ...
分类：
编程语言 时间：
2016-04-21 13:46:32
阅读次数：
158
