上讲，讲述了大概九种的技术种类以及他们的领域。那么既然有吃饭的，那就必须有做饭的。因此大数据技术结构的选型，必须有的组成部分至少三种（来源、计算、存储） 最简单的数据处理架构： 最少单元的数据处理方案，当然这个不是最好的，为什么呢，问题： 1.流式处理数据（Streaming）时，数据量小时，数据存 ...
分类：
其他好文 时间：
2016-07-05 22:35:03
阅读次数：
214
企业级大数据处理方案有三种业务场景： 1.离线处理；（mapreduce（第一代）、sparksql（第二代）） 2.实时处理；（数据库操作、storm） 3.准实时处理。（spark Streaming） mapreduce与spark对比 mr与spark优缺点对比：（一） a.mapreduc ...
分类：
其他好文 时间：
2016-07-05 10:10:17
阅读次数：
119
与上一篇不同，本篇添加了大数据处理，对数据库的操作（增删查改）以下注释均为测试，可忽略绿色为文件，蓝色为目录这是整体的一个目录：conf/server.conf:IP:127.0.0.1
PORT:8080htdocs/index.html:(数据库操作)<html>
<head>
<h1>hello,thisisdatabase<..
分类：
Web程序 时间：
2016-07-04 15:48:00
阅读次数：
281
故事背景 在我们的日常生活中，人们已经习惯了看电影。但是，每个人的偏好是不同的，有的人可能喜欢战争片，有人可能更喜欢艺术片，而有的人则可能喜欢爱情片，等等。现在，我们收集了一些的客户和电影的相关信息，目的是找出客户对特定影片的评分，从而预测出客户有可能喜爱的电影并推荐给客户。本次的大数据处理，使用了 ...
分类：
其他好文 时间：
2016-06-21 22:40:17
阅读次数：
465
大数据如火如荼的火热着，互联网上资源又让人眼花缭乱不知如何下手，对于新手和准备成为大数据工程师的童鞋更是如此，此博文总结了网上一些知识，希望对大家有帮助。
下图是大数据处理的各个架构层：
以下一一简介各个层，使大家对这块知识有个总体把握：
一、数据存储层
宽泛地讲，据对一致性（consistency）要求的强弱不同，分布式数据存储策略，可分为ACID和BASE两大阵营。...
分类：
其他好文 时间：
2016-06-12 02:49:57
阅读次数：
1264
http://product.dangdang.com/23829918.html Spark作为新兴的、应用范围最为广泛的大数据处理开源框架引起了广泛的关注，它吸引了大量程序设计和开发人员进行相关内容的学习与开发，其中 MLlib是 Spark框架使用的核心。本书是一本细致介绍 Spark MLl ...
分类：
其他好文 时间：
2016-05-29 13:38:08
阅读次数：
157
MapReduce和Spark比较
目前的大数据处理可以分为以下三个类型：
1、复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间；
2、基于历史数据的交互式查询（interactive query），通常的时间跨度在数十秒到数分钟之间；
3、基于实时数据流的数据处理（streaming data processing），...
分类：
其他好文 时间：
2016-05-22 12:17:28
阅读次数：
163
感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 数据接收全生命周期的思考 大数据处理框架中，最重要的就是性能，性能是排在前面的。其次再考虑其他的。因为数据量大，一不小心的多余的操作，几分钟，十几分钟就过去了。 根据一般的架构设计原则，接收数据和存储数据 ...
分类：
其他好文 时间：
2016-05-21 20:17:15
阅读次数：
136
Spark正在数据处理领域卷起一场风暴。让我们通过本篇文章，看看为Spark的大数据平台起到推波助澜的几个重要工具。Spark生态系统众生相Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术，它结合了诸多部分，新的功能和性能改 ...
分类：
其他好文 时间：
2016-05-13 10:37:29
阅读次数：
147
Hadoop系列之一：大数据存储及处理平台产生的背景：http://mageedu.blog.51cto.com/4265610/1102191Hadoop系列之二：大数据、大数据处理模型及MapReduce：http://mageedu.blog.51cto.com/4265610/1105727Hadoop系列之三：函数式编程语言和MapReduce：http://mageedu.blog.51cto..
分类：
系统相关 时间：
2016-05-04 10:47:59
阅读次数：
271
