一、Storm介绍 1、Storm是Twitter开源的一个分布式的实时计算系统，用于数据的实时分析，持续计算，分布式RPC。 ①官网地址：http://storm-project.net ②源码地址：https://github.com/nathanmarz/storm 2、实时计算需要解决一些什 ...
分类：
其他好文 时间：
2018-06-13 11:30:10
阅读次数：
187
一：介绍 1.说明 Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。 2.工作机制 Distributed RPC是由一个”DPR ...
分类：
其他好文 时间：
2018-06-12 23:30:05
阅读次数：
275
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2018-05-18 20:14:40
阅读次数：
157
Spark 实践——基于 Spark Streaming 的实时日志分析系统 本文基于《Spark 最佳实践》第6章 Spark 流式计算。 我们知道网站用户访问流量是不间断的，基于网站的访问日志，即 Web log 分析是典型的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分 ...
分类：
其他好文 时间：
2018-05-15 22:43:43
阅读次数：
509
大数据概述 1、大数据时代 1.第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革。 2.信息科技为大数据时代提供技术支撑 存储设备容量不断增加 CPU处理能力不断提升 网络带宽不断增加 3.数据产生方式的变革促成大数据时代的来临 运营式系统阶段：数据库 用 ...
分类：
其他好文 时间：
2018-05-15 21:13:08
阅读次数：
843
1. Flink Flink介绍： Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理， ...
分类：
其他好文 时间：
2018-05-11 20:11:02
阅读次数：
3306
相关配置 状态图 执行流程 命令执行前调用 ，正常情况下会执行返回true，但是如果发生熔断，则需要通过sleepWindows来进行恢复 发生熔断流程 在新版本1.5.12中，会有一个后台线程订阅metrics流实时计算： 1. 如果没有达到RequestVolume，则直接返回，不计算是否需要熔 ...
分类：
其他好文 时间：
2018-05-09 14:44:50
阅读次数：
176
1. 背景介绍 1.1 离线计算是什么 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示； 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据 1.2 流式计算是什么 流式计算：数据实时产生、数据实时传输、数据实时计算、实时 ...
分类：
其他好文 时间：
2018-05-06 18:55:57
阅读次数：
203
概念 实时流式计算： 大数据环境下，流式数据将作为一种新型的数据类型，这种数据具有连续性、无限性和瞬时性。是实时数据处理所面向的数据类型，对这种流式数据的实时计算就是实时流式计算。 特征 实时流式计算与传统的数据处理技术不同，其具有一下特点： 低延迟：从处理的数据角度来看，每一条数据都可以在有限的时 ...
分类：
其他好文 时间：
2018-04-23 22:38:43
阅读次数：
168
Vue.js介绍 Vue.js的作者为Evan You（尤雨溪），曾任职于Google Creative Lab。 Vue文档：https://cn.vuejs.org Vue github：https://github.com/vuejs/vue Vue是前端主流框架中的集大成者，它吸取了angu ...
分类：
其他好文 时间：
2018-04-21 21:18:23
阅读次数：
266
