ApacheSpark是行业中流行和广泛使用的大数据工具之一。ApacheSpark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apacheflink。ApacheSpark简介ApacheSpark是为快速计算而设计的开源，闪电般快速的集群计算框架。ApacheSpark扩展了MapReduce模型，以有效地将其用于多种计算，包括流处理和交互式查询。ApacheSpark的主要功能
分类：
Web程序 时间：
2020-06-12 09:14:25
阅读次数：
61
Flink：ApacheFlink是一个计算框架和分布式处理引擎，用于对***和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视
分类：
其他好文 时间：
2020-06-11 21:28:52
阅读次数：
114
Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apache flink。 Apache Spark简介 Apache Spark是为快速计算而设计的开源，闪电般快速的集群计算框架。Apache Spa ...
分类：
Web程序 时间：
2020-06-11 19:59:25
阅读次数：
79
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类：
其他好文 时间：
2020-06-08 19:17:29
阅读次数：
88
1 介绍 1.1 概念 面向批处理的分布式计算框架 一种编程模型：MapReduce程序被分为Map（映射）阶段和Reduce（化简）阶段 1.2 核心思想 分而治之，并行计算 移动计算，而非移动数据 1.3 特点 计算跟着数据走 良好的扩展性：计算能力随着节点数增加，近似线性递增 高容错 状态监控 ...
分类：
其他好文 时间：
2020-05-07 00:30:19
阅读次数：
80
CUDA是一个并行计算框架.用于计算加速.是nvidia家的产品.广泛地应用于现在的深度学习加速. 一句话描述就是:cuda帮助我们把运算从cpu放到gpu上做,gpu多线程同时处理运算,达到加速效果. 从一个简单例子说起: 注意用sudo 否则可能报错. sudo /usr/local/cuda/ ...
分类：
其他好文 时间：
2020-04-04 20:59:35
阅读次数：
64
一、什么是Presto？ 背景知识：Hive的缺点和Presto的背景 Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎，它被设计为用 ...
分类：
其他好文 时间：
2020-04-04 11:41:05
阅读次数：
80
每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地使用该方案而不必做重复工作。 所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行等一系列问题与挑战。为此，在实践中提出了许多解决方案，以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。
分类：
其他好文 时间：
2020-03-30 00:25:23
阅读次数：
252
[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
前期准备 （1）JAVA_HOME：因为Hadoop的配置文件中依赖 $JAVA_HOME。修改/etc/profile文件。 （2）hostname：修改主机名，方便管理。/etc/sysconfig/network。 （3）ip hostname：方便管理，hadoop默认是使用hostname ...
分类：
其他好文 时间：
2020-02-27 23:43:16
阅读次数：
120
