JPA基础及查询规则 JPA JPA是Java Persistence API的简称，中文名Java持久层API，是JDK 5.0注解或XML描述对象－关系表的映射关系，并将运行期的实体对象持久化到数据库中。 JPA框架中支持大数据集、事务、并发等容器级事务，这使得 JPA 超越了简单持久化框架的局 ...
分类：
编程语言 时间：
2017-09-13 22:06:49
阅读次数：
167
摘要 MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间valu ...
分类：
其他好文 时间：
2017-09-13 01:42:52
阅读次数：
197
MaxCompute Studio是阿里云MaxCompute（原ODPS）平台提供的安装在开发者客户端的大数据集成开发环境（IDE）工具，是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件，帮助用户方便地进行数据开发。ODPS客户端是一个命令行工具，通过它可以访问MaxCompu ...
分类：
其他好文 时间：
2017-09-06 22:57:45
阅读次数：
273
前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 大数据时代已经来临，它将在众多领域掀起变革的巨浪。机器学习对于大数据集的处理也变得越来越重要。大数据 集务必会带来恐怖的计算量，不仅耗费大量资源，而且给数据处理的实时性带来巨大的挑战。 想要解决这个难题，就需要采取以下措施：选择更加适合大数 ...
分类：
其他好文 时间：
2017-08-31 20:20:56
阅读次数：
145
上一篇文章，我们做了内存数据库的技术选型： 内存数据库技术选型 本文中，我们继续深入研究Apache Ignite，同时分享一些我们.Net的编码实践。 首先，Apache Ignite是一个内存数据组织是高性能的、集成化的以及分布式的内存平台，他可以实时地在大数据集中执行事务和计算，和传统的基于磁 ...
分类：
数据库 时间：
2017-08-26 22:45:05
阅读次数：
504
Aprori算法利用频繁集的两个特性，过滤了很多无关的集合，效率提高不少，但是我们发现Apriori算法是一个候选消除算法，每一次消除都需要扫描一次所有数据记录，造成整个算法在面临大数据集时显得无能为力。今天我们介绍一个新的算法挖掘频繁项集，效率比Aprori算法高很多。 FpGrowth算法通过构 ...
分类：
编程语言 时间：
2017-07-23 12:37:54
阅读次数：
233
MapReduce:超大机群上的简单数据处理 摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可 ...
分类：
其他好文 时间：
2017-07-05 13:17:30
阅读次数：
133
1. 性能下降，sql执行时间长原因：查询语句没写好，索引失效，关联太多join，服务器参数设置不合理（JoinBuffer大小,SortBuffer大小,最大连接数）2. 使用join时应该小表驱动大表，小数据集驱动大数据集3. 索引：索引是帮助MySQL高效获取数据的一种数据结构，即索引的本质是 ...
分类：
数据库 时间：
2017-06-28 20:35:06
阅读次数：
226
在dhtmlxTree中优化加载大数据集：Dynamic Loading 动态加载 一、dhtmlxTree API翻译： 如果树中包含大量的节点(或者用户不想在加载隐藏节点上浪费时间)，最好在请求时加载它们，而不是立即加载它们。 为了实现这一目的，引入了使用XML动态加载树级别的功能。 激活动态加 ...
分类：
Web程序 时间：
2017-06-24 21:49:39
阅读次数：
263
