1. UDF 2.UDAF 3.UDTF hive是一个计算引擎. mapreduce 慢，吞吐量达. hive有点像一个hadoop的客户端,他不是分布式的. ...
分类：
其他好文 时间：
2020-05-19 10:43:18
阅读次数：
40
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文是漫谈系列的第二篇，将从源码入手，带领大家具体剖析Alink是如何设计的，其架构如何。 ...
分类：
其他好文 时间：
2020-05-10 10:46:37
阅读次数：
68
1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
使用netty的开源框架 Dubbo：阿里开源的高性能rpc通讯框架 RocketMQ：阿里出品的高性能消息队列 Spark：为大规模数据处理设计的一款计算引擎 Elasticsearch,Cassandra,Flink,Netty-SocketIO,Spring5,Play,Grpc... Net ...
分类：
Web程序 时间：
2020-04-06 00:28:27
阅读次数：
121
传统Hive计算引擎为MapReduce，在Spark1.3版本之后，SparkSql正式发布，并且SparkSql与apachehive基本完全兼容，基于Spark强大的计算能力，使用Spark处理hive中的数据处理速度远远比传统的Hive快。在idea中使用SparkSql读取HIve表中的数据步骤如下1、首先，准备测试环境，将hadoop集群conf目录下的core-site.xml、hd
分类：
数据库 时间：
2020-03-30 14:42:50
阅读次数：
141
前言 2006年，NVIDIA公司发布了CUDA，CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。近年来，GPU最成功的一个应用就是深度学习领域，基于GPU的并行计算已经成为训练深度学习模型的 ...
分类：
其他好文 时间：
2020-03-09 17:35:23
阅读次数：
61
大致可以将大数据的计算引擎分成了 4 代。 1、第一代的计算引擎，无疑就是Hadoop承载的MapReduce。它将每个JobApp都被设计为两个阶段，分别为Map和Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在 上层应用实现多个App的串联 ，才能完成一个完整的算法，例 ...
分类：
其他好文 时间：
2020-02-21 12:50:43
阅读次数：
77
概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 S ...
分类：
其他好文 时间：
2020-01-26 19:27:55
阅读次数：
76
Flink第一章 【录播】01.体验flink-安装配置-启动(16分钟) 免费试学 【录播】02.启动flink-scala-shell读取文件实现打印(10分钟) 【录播】03.使用flink scala shell实现word count(16分钟) 【录播】04.使用静态数据模拟流操作fro ...
分类：
其他好文 时间：
2020-01-07 20:09:20
阅读次数：
453
一.简介 1.什么是spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduc ...
分类：
其他好文 时间：
2019-12-30 14:10:45
阅读次数：
100
