Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spar ...
分类：
Web程序 时间：
2017-08-17 20:20:38
阅读次数：
305
Apache Spark 内存管理详解 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的 ...
分类：
Web程序 时间：
2017-08-03 11:25:51
阅读次数：
240
使用Jasper或BIRT等报表工具时，常会碰到一些很规的统计，用报表工具本身或SQL都难以处理，比方与主表相关的子表分布在多个数据库中，报表要展现这些数据源动态关联的结果。集算器具有结构化强计算引擎，集成简单，能够协助报表工具方便地实现此类需求。以下通过一个样例来说明多数据源动态关联的实现过程。 ...
分类：
其他好文 时间：
2017-07-30 19:58:47
阅读次数：
131
在高性能计算、机器学习等现代应用领域中，GPU（Graphics Processing Unit）是占统治地位的计算引擎。GPU从早期的固化逻辑实现、到可编程、到今天的通用计算架构（GPGPU），其应用接口（API）随着功能和通用性的提升而变得越来越灵活和高效。 ...
看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？ 本文先给出基本结论： OSS是什么? 对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联... ...
分类：
其他好文 时间：
2017-06-06 15:49:10
阅读次数：
245
王峰，淘宝花名”莫问"，2006年毕业后即加入阿里巴巴集团，长期从事搜索和大数据基础技术研发工作，目前在计算平台事业部，负责实时计算北京研发团队。 在阿里巴巴的11年工作期间，持续专注大数据计算与存储技术领域，基于Hadoop开源生态打造的数据基础设施一直服务于搜索、推荐等阿里核心电商业务场景，最近 ...
分类：
其他好文 时间：
2017-05-31 10:31:48
阅读次数：
489
使用Jasper或BIRT等报表工具时，常会碰到一些很规的统计，用报表工具本身或SQL都难以处理，比方源数据不符合交叉表的要求，须要转置后再呈现。集算器具有结构化强计算引擎，集成简单。能够协助报表工具方便地实现此类需求。以下通过一个样例来说明转置交叉表的实现过程。 数据库表booking汇总着各年度 ...
分类：
Web程序 时间：
2017-05-30 16:05:08
阅读次数：
519
本节内容 1.遗留问题解答 2.Spark核心概念 2.1 RDD及RDD操作 2.2 Transformation和Action 2.3 Spark程序架构 2.4 Spark on Yarn运行流程 2.5 WordCount执行原理 3.Spark计算引擎原理 3.1 Spark内部原理 3. ...
分类：
其他好文 时间：
2017-05-07 23:09:24
阅读次数：
240
1 spark与mapreduce对比 Spark比Mapreduce更加高效，主要原因是： 1内存计算引擎，提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销; 2DAG引擎，减少多次计算之间中间结果写到HDFS的开销; 3使用多线程池模型来减少task启动开稍，sh ...
分类：
其他好文 时间：
2017-04-18 11:24:20
阅读次数：
272
摘要: 通过腾讯shuffle部署对shuffle过程进行详解 摘要：腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuff ...
分类：
其他好文 时间：
2017-04-10 00:41:43
阅读次数：
283
