下载地址：网盘下载 内容简介 · · · · · · 大数据：互联网大规模数据挖掘与分布式处理，ISBN：9787115291318，作者：（美） Anand Rajaraman （美） Jeffrey David Ullman 著，王 斌 译 大数据：互联网大规模数据挖掘与分布式处理，ISBN：9 ...
分类：
其他好文 时间：
2018-02-24 15:00:18
阅读次数：
192
Spark SQL是Apache Spark最广泛使用的一个组件，它提供了非常友好的接口来分布式处理结构化数据，在很多应用领域都有成功的生产实践，但是在超大规模集群和数据集上，Spark SQL仍然遇到不少易用性和可扩展性的挑战。为了应对这些挑战，英特尔大数据技术团队和百度大数据基础架构部工程师在S ...
分类：
数据库 时间：
2018-02-20 11:49:00
阅读次数：
201
方法介绍 MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。这样做的好处是可以在任务被分解后，可以通过大量机器进行并行计算，减少整个操作的时间。但如果你要我再通俗点介绍，那么，说白了，Mapreduce的原理就是一个归 ...
分类：
其他好文 时间：
2018-02-03 13:18:34
阅读次数：
169
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 背景介绍 Kafka创建背景 Kafka是一个消息系统，原本开发自Li ...
分类：
其他好文 时间：
2018-01-21 16:23:21
阅读次数：
154
基本概念 网络：一组由网线连接起来的计算机。 网络的作用： 1.信息共享。 2.信息传输。 3.分布式处理。 4.综合性的处理。 internet：互联网 Internet：是互联网中最大的一个。 www：万维网，web，是Internet因特网的一个服务。 协议 IP：网际传输协议。传输数据，不保 ...
分类：
其他好文 时间：
2018-01-12 20:29:26
阅读次数：
169
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏 ...
分类：
其他好文 时间：
2017-12-22 17:32:32
阅读次数：
235
ClickHouse是一个开源的面向列式数据的数据库管理系统，能够使用SQL查询并且生成实时数据报告。 优点: 1.并行处理单个查询（利用多核） 2.在多个服务器上分布式处理 3.非常快的扫描，可用于实时查询 4.列存储非常适用于“宽”/“非规格化”表（多列） 5.良好的压缩特性 6.SQL支持（有 ...
分类：
数据库 时间：
2017-12-10 22:51:13
阅读次数：
610
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Spark streaming集成... ...
分类：
其他好文 时间：
2017-11-26 16:54:55
阅读次数：
233
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。一、kafka体系架构一个典型的K... ...
分类：
其他好文 时间：
2017-11-26 11:01:03
阅读次数：
196
前面对于 Celery 的分布式处理已经做了一些介绍，例如第五章的 远程控制 和第六章的 Event机制，但是，我认为这些分布式都比较简单，并没有体现出多实例之间的协同作用，所以，今天就来点更加复杂的，对于多实例直接的交互更多，这就是 Gossip 和 Mingle。Mingle在 Celery 的... ...
分类：
其他好文 时间：
2017-11-23 08:29:05
阅读次数：
183
