1 介 绍 1.1 流式计算介绍 流式大数据计算主要有以下特征： 1)实时性。流式大数据不仅是实时产生的，也是要求实时给出反馈结果。系统要有快速响应能力，在短时间内体现出数据的价值，超过有效时间后数据的价值就会迅速降低。 2)突发性。数据的流入速率和顺序并不确定，甚至会有较大的差异。这要求系统要有较 ...
分类：
其他好文 时间：
2018-12-08 16:13:09
阅读次数：
208
什么是Spark 1. 大数据计算框架 2. 离线批处理 3. 大数据体系架构图（Spark） 4. Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLib用于机器学习 ...
分类：
其他好文 时间：
2018-12-01 00:16:11
阅读次数：
204
11月14日，阿里云重磅发布了实时计算独享模式，即用户独享一部分物理资源，这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立，是实时计算在原有共享模式基础上的重大升级。（观看实时计算发布会直播：https://yq.aliyun.com/live/591） 独享模式优点更加突出1、UDX开放：实时计算的共享模式是多个用户共享一个物理机群，在网络/磁盘层面没有办法做到完全隔离。
分类：
其他好文 时间：
2018-11-15 19:49:49
阅读次数：
215
大数据学习路径我vx①⑤零零③④③⑥⑨③①备注A更多大数据第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算kafka→storm→red
分类：
其他好文 时间：
2018-11-13 20:36:33
阅读次数：
180
相比SparkStream、KafkaStream、Storm等，为什么阿里会选择Flink作为新一代流式计算引擎？前期经过了哪些调研和对比？大沙：我们是2015年开始调研新一代流计算引擎的。我们当时的目标就是要设计一款低延迟、exactlyonce、流和批统一的，能够支撑足够大体量的复杂计算的引擎。Sparkstreaming的本质还是一款基于microbatch计算的引擎。这种引擎一个天生的缺
分类：
其他好文 时间：
2018-11-13 10:26:17
阅读次数：
192
干货走起，闲话不多说，以下就是小编整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另：目前企业中无疑例外是使用Linux来搭建或部署项目的第二阶段：大型网站高并发处理本阶段的学习是为了让大家能够了解大数据的源头，数据从而而来，继而更好的了解大
分类：
其他好文 时间：
2018-10-31 20:07:13
阅读次数：
231
## MapReduce概述- Google MapReduce的克隆版本- 优点：海量数据的离线处理，易开发，易运行- 缺点：实时流式计算Hadoop MapReduce是一个软件框架，用于轻松编写应用程序，以可靠，容错的方式在大型集群（数千个节点）的商用硬件上并行处理大量数据（多TB数据集） # ...
分类：
其他好文 时间：
2018-10-31 11:21:58
阅读次数：
138
一 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn开发， ...
分类：
其他好文 时间：
2018-10-14 00:21:19
阅读次数：
147
Hadoop：离线计算Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS ...
分类：
其他好文 时间：
2018-07-26 19:51:08
阅读次数：
171
数据注入和流计算： Ignite流式计算允许以可扩展和容错的方式处理连续不中断的数据流。在一个中等规模的集群中，数据注入Ignite的比例会很高，很容易达到每秒百万级的规模。 Ignite可以与主要的流处理技术和框架进行集成，比如Kafka、Camel、Storm或者JMS，他们可以为基于Ignit ...
分类：
其他好文 时间：
2018-07-14 11:47:59
阅读次数：
181
