分布式文件存储的数据库 能够快速识别数据库内大数据集中的热数据，提供一致的性能改进。 其主要场景如下：网站实时数据处理。它非常适合实时的插入、更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。2）缓存。由于性能很高，它适合作为信息基础设施的缓存层。在系统重启之后，由它搭建的持久化缓存层可以避 ...
分类：
数据库 时间：
2017-06-22 17:02:57
阅读次数：
178
Elasticsearch是当前最流行的大数据集分析平台之一，对于日志聚合、商业智能以及机器学习等各类用例而言，Elasticsearch都是一个很有用的工具。Elasticsearch基于REST的简单的API，使得创建索引、添加数据和进行复杂的查询变得非常简单，这也是它大受欢迎的一大原因。但是，在..
分类：
其他好文 时间：
2017-05-12 13:25:54
阅读次数：
256
JavaScript实现数组快速排序，主要思想是找到一个中间值，递归比较，创建两个数组，左数组和右数组，如果比中间值小的放在左边数组中，比中间值大的放在右边数组中，最后将数组和中值合并，得到新的数组； 快速排序是处理大数据集最快的排序算法之一。它是一种分而治之的算法，通过递归的方式将数据依次分解为包 ...
分类：
编程语言 时间：
2017-05-08 21:54:20
阅读次数：
183
第一部分 DBMS的功能以及实现该功能的原理 DBMS如何存储和管理大数据集（有效性和可伸缩性） DBMS是如何实现多用户同时存取数据的（并发性） 系统出现故障时，DBMS如何保护数据 （鲁棒性） 第二部分 如何使用现有的DBMS辅助我们的程序的开发 ...
分类：
数据库 时间：
2017-05-07 12:58:40
阅读次数：
206
前言HDFS在近几年中得到了迅速的发展，作为性价比比较高的存储系统，用户、企业只需利用若干台低配廉价的节点机型，就可以构建能够承受TB甚至PB级别的大数据集群，然后在上面做各种类型任务的作业，而且在底...
分类：
其他好文 时间：
2017-04-30 18:28:29
阅读次数：
451
首先，表一下索引的好处。在大数据集上，不加索引直接查询结果的时间消耗要远远大于在索引上查询。索引就好比是一本书的目录。 索引是一种特殊的文件（InnoDB数据表上索引是表空间的一个组成部分）。他们包含着对数据表里面所有记录的引用指针。举个例子，比如查询主键id = 2000000的记录。 如果没加索 ...
分类：
数据库 时间：
2017-04-10 18:33:07
阅读次数：
170
大数据集群本地安装方法 1、使用Vmware安装Linux系统 请自行下载，并安装。至少安装两台（这里以安装三台为例） 2、 安装xshell和xftp 安装xshell和xftp主要主要是方面后面传文件、写命令等操作。 （注意，xshell和xftp的版本一定要一致，不然安装xftp可能会有问题） ...
分类：
其他好文 时间：
2017-03-16 16:14:32
阅读次数：
725
spark1.4.0的sparkR的思路：用spark从大数据集中抽取小数据（sparkR的DataFrame），然后到R里分析（DataFrame）。这两个DataFrame是不同的，前者是分布式的，集群上的DF，R里的那些包都不能用；后者是单机版的DF，包里的函数都能用。sparkR的开发计划， ...
分类：
其他好文 时间：
2017-03-01 18:20:49
阅读次数：
238
1. 基本分析理论 C5.0是决策树模型中的算法，79年由J R Quinlan发展，并提出了ID3算法，主要针对离散型属性数据，其后又不断的改进，形成C4.5，它在ID3基础上增加了队连续属性的离散化。C5.0是C4.5应用于大数据集上的分类算法，主要在执行效率和内存使用方面进行了改进。C4.5算 ...
分类：
编程语言 时间：
2017-02-09 17:43:09
阅读次数：
619
术语“大数据”用于大数据集的集合，包括大量，高速度和各种日益增加的数据。使用传统的数据管理系统，很难处理大数据。因此，Apache Software Foundation引入了一个称为Hadoop的框架来解决大数据管理和处理难题。 HadoopHadoop是一个开放源代码框架，用于在分布式环境中存储 ...
分类：
其他好文 时间：
2017-01-20 15:50:23
阅读次数：
394
