大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图： hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案 hive是在mr和文件存储系统上面做的升级。 sprak+hbase+hadoop主要解决的是hadoop实时处理数据比较弱的问题 ...
分类：
Web程序 时间：
2019-12-08 10:27:19
阅读次数：
116
kafka基础架构 什么是kafka？ Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 1.什么是消息队列？ 2.使用消息队列的好处 1）解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2）可恢复性 系统的一部分组件失效时，不会影响 ...
分类：
其他好文 时间：
2019-12-06 00:15:17
阅读次数：
124
在很多互联网应用系统中，请求处理异步化是提升系统性能一种常用的手段，而基于消息系统的异步处理由于具备高可靠性、高吞吐量的特点，因而在并发请求量比较高的互联网系统中被广泛应用。与此同时，这种方案也带来了调用链路处理上的问题，因为大部分应用请求都会要求同步响应实时处理结果，而由于请求的处理过程已经通过消息异步解耦，所以整个调用链路就变成了异步链路，此时请求链路的发起者如何同步拿到响应结果，就需要进行额外的系统设计考虑。
分类：
其他好文 时间：
2019-12-04 18:41:32
阅读次数：
116
celery学习：http://docs.jinkan.org/docs/celery/ 什么是celery？ Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。它专注于实时处理的任务队列，同时也支持任务调度。 什么地方可以用到celery？（基础 ...
分类：
编程语言 时间：
2019-12-02 16:38:03
阅读次数：
96
为什么需要 Stream Stream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream，也不是 Amazon Kinesis 对大数据实时处理的 Stream ...
分类：
编程语言 时间：
2019-12-02 00:27:08
阅读次数：
82
一、收集应用领域信息 我做的题目是海量用户行为实时分析系统的设计与实现。需要设计并实现一个基于流计算的实时计算引擎。目前常用的实时流计算引擎有Flink、Storm等。其主要实现方法是基于事件流，根据用户给定的条件进行实时处理，最后输出用户需要的结果。 二、头脑风暴 根据需求，我们讨论并整理出了技术 ...
分类：
其他好文 时间：
2019-11-22 20:55:09
阅读次数：
82
Celery在Django中的使用介绍 Celery简介 celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必须工具。 它是一个专注于实时处理的任务队列，同时也支持任务调度。 何为任务队列 任务队列：是一种在线程和机器间分发任务的机制。 celery的三大组成 ...
分类：
其他好文 时间：
2019-11-05 13:21:34
阅读次数：
91
一、什么是celery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 二、Celery架构 Celery的架构由三部分组成，消息中间件（message broker）、任务执行单元（worker）和 任务执行结果存储（task re ...
分类：
其他好文 时间：
2019-11-02 18:11:17
阅读次数：
75
本文源码：GitHub·点这里||GitEE·点这里一、ClickHouse简介1、基础简介Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUPBY)，ClickHouse的查询速度非常快。下载仓库：https://repo
分类：
数据库 时间：
2019-10-29 00:24:35
阅读次数：
128
Apache kafka kafka 是一个分布式的基于发布订阅的消息队列，主要应用于大数据实时处理领域。 什么是消息系统 消息系统负责将数据从一个应用程序传输到另一个应用程序，分布式消息传递基于可靠消息队列的概念。有两种类型的消息模式可用，一种是点对点， 另一种是 发布-订阅（pub-sub）消息 ...
分类：
其他好文 时间：
2019-10-28 12:30:24
阅读次数：
84
