spark入门系列 简单入门spark 如何建立spark的工程 如何写spark代码 大数据处理入门 ...
分类：
其他好文 时间：
2016-09-26 20:15:48
阅读次数：
167
http://www.cnblogs.com/a757956132/p/4644910.html http://my.oschina.net/songhongxu/blog/209951 一、内存溢出类型 1、java.lang.OutOfMemoryError: PermGen space JVM ...
分类：
编程语言 时间：
2016-09-04 19:09:36
阅读次数：
256
经典的关联规则挖掘算法Apriori和FP-growth，在大数据或者海量数据面前，由于候选集和生成的FP树大而无法存储到内存，同时也由于算法本身单机的特点，决定了它串行处理数据的方式，这在效率上很难满足大数据处理的要求，数据迁移到平台需要传输和转储，在大数据面前，也是一大难题。 一般而言"关联规则 ...
分类：
其他好文 时间：
2016-09-02 13:19:32
阅读次数：
182
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统 ...
分类：
其他好文 时间：
2016-08-30 22:44:24
阅读次数：
577
在如今这个信息高速增长的今天，信息实时计算处理能力已经是一项专业技能了，正是因为有了这些需求的存在才使得分布式，同时具备高容错的实时计算系统Storm才变得如此受欢迎，为什么这么说呢？下面看看新霸哥的介绍。 优点之一：高可靠性 对Storm有了解的朋友可能会知道spout发出的消息后续可能会触发产生 ...
分类：
其他好文 时间：
2016-08-22 08:11:01
阅读次数：
173
第六章的代码及命令的部分本人还未验证，先记录，验证后如有变动再更新。
一、是什么
1.是一个易于扩展的分布式文件系统
2.可以运行在大量普通廉价机器上，提供容错机制
3.可以为大量用户提供性能不错的文件存取服务
二、优点
高容错性：数据自动保存多个副本，副本丢失后，自动恢复
适合批处理：移动计算而非数据，数据位置暴露给计算框架
适合大数据处理：GB、TB、甚至PB级数据；百万规模...
分类：
其他好文 时间：
2016-07-12 12:19:23
阅读次数：
218
在这个信息爆炸的时代，互联网技术飞速发展，由于大数据处理需求的迫切性和重要性，新的一轮资源整合必将是颠覆性的。 ...
分类：
其他好文 时间：
2016-07-11 18:45:40
阅读次数：
215
数据处理过程分为数据挖掘和数据分析，广义上说数据分析泛指整个过程，然而数据分析大的流程大致相同，如图： 数据挖掘一般都要经过过滤、漂洗、匹配三个过程： 1.过滤:主要将数据中的不适合分析的数据过滤掉，就好比产品流水线的残次品一样，对数据进行组粒度的过滤，其规则可按数据大小，字符长短； 2.漂洗：也称 ...
分类：
其他好文 时间：
2016-07-09 14:50:36
阅读次数：
143
YARN 简介 YARN 简介 YARN 简介 Apache Hadoop 是最流行的大数据处理工具之一。它多年来被许多公司成功部署在生产中。尽管 Hadoop 被视为可靠的、可扩展的、富有成本效益的解决方案，但大型开发人员社区仍在不断改进它。最终，2.0 版提供了多项革命性功能，其中包括 Yet ...
分类：
其他好文 时间：
2016-07-08 13:29:11
阅读次数：
222
新手入门：Spark部署实战入门Spark简介整体认识ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark在整个大数据系统中处于中间偏上层的地位，如下图，对hadoop起到..
分类：
其他好文 时间：
2016-07-05 22:41:39
阅读次数：
369
