说起大数据，很多人都能聊上一会，但要是问大数据核心技术有哪些，估计很多人就说不上一二来了。 从机器学习到数据可视化，大数据发展至今已经拥有了一套相当成熟的技术树，不同的技术层面有着不同的技术架构，而且每年还会涌现出新的技术名词。面对如此庞杂的技术架构，很多第一次接触大数据的小白几乎都是望而生畏的。 ...
分类：
其他好文 时间：
2021-06-08 22:37:38
阅读次数：
0
MapReduce与spark MapReduce： 操作单一，只有map，reduce spark：提供多种操作：过滤，分组，排序.... （一）spark生态环境： Mesos和YARN都是资源调度管理器 HDFS：分布式系统存储组件 S3：亚马逊提供的云端的简单的存储服务 Tachyon：基于 ...
分类：
其他好文 时间：
2020-01-28 20:53:14
阅读次数：
68
一.简介 Tachyon是介于磁盘存储和计算框架之间的一种中间件，用于实现分布式的内存文件读写等功能，实现分布式集群内部共享数据。 应用实例： 二.架构 1.心跳机制 在Tachyon中，心跳用于Master/Worker/Client之间的定期通信以及Master/Worker自身的状态自检。 > ...
分类：
其他好文 时间：
2019-09-15 18:47:37
阅读次数：
79
spark spark背景 什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集 ...
分类：
其他好文 时间：
2018-12-07 21:21:49
阅读次数：
298
一. spark 概述 1.是什么: ? Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。2012年,它是由加州伯克利大学AMP实 验室开源的类 Hadoop MapReduce 的通用并行计算框架，Spark 拥有Hadoop MapReduce 所具有的优点；但不 同于 ...
分类：
其他好文 时间：
2018-08-30 11:11:38
阅读次数：
198
摘要： Tachyon是一种分布式文件系统，能够借助集群计算框架使得数据以内存的速度进行共享。当今的缓存技术优化了read过程，可是，write过程由于须要容错机制，就须要通过网络或者是磁盘进行复制操作。Tachyon通过将“血统”技术引入到存储层进而消除了这个瓶颈。创建一个长期的以“血统机制”为基 ...
分类：
其他好文 时间：
2017-06-24 11:11:12
阅读次数：
227
很全的spark资料下载，包含pdf书籍和培训学校视频教程， 1.spark多语言编程：spark多语言开发 2.tachyon:tachyon 3.sparkR:sparkR 所有内容请点击：所有内容 其它正在整理上传中 很全的spark资料下载，包含pdf书籍和培训学校视频教程， 1.spark ...
分类：
其他好文 时间：
2017-06-14 21:18:58
阅读次数：
163
Alluxio的前身为Tachyon。Alluxio是一个基于内存的分布式文件系统；Alluxio以内存为中心设计，他处在诸如Amazon S3、 Apache HDFS 或 OpenStack Sw...
分类：
其他好文 时间：
2017-03-14 17:51:04
阅读次数：
232
前言Alluxio是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在Alluxio里的文件。把Alluxio是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件，其前身为Tachyon。Alluxio起源于Alluxio公司创始人李浩源读博期间在UCBerkeleyAMPLab实验室的..
分类：
其他好文 时间：
2016-12-09 20:23:41
阅读次数：
285
HDFS是Hadoop的分布式文件系统，但是分布式文件系统不只是HDFS，如Google的GFS，Spark的Tachyon，他们都是分布式文件系统。在这里谈到分布式文件系统，我们一定要和传统的文件系统进行区分。传统的文件系统如Windows的NTFS，FAT32和FAT16，Linux的ext3，ext4，它们都是基于裸设..
分类：
其他好文 时间：
2016-12-03 02:44:43
阅读次数：
202
