本期内容： 1. Spark Streaming架构 2. Spark Streaming运行机制 Spark大数据分析框架的核心部件： spark Core、spark Streaming流计算、GraphX图计算、MLlib机器学习、Spark SQL、Tachyon文件系统、SparkR计算引 ...
分类：
其他好文 时间：
2016-05-03 17:37:53
阅读次数：
159
在Spark的RDD中引入过lineage这一概念。指的是RDD之间的依赖。而Alluxio则使用lineage来表示文件之间的依赖。在代码层面，指的是fileID之间的依赖。 代码中的注释指出： 有了lineage之后，如何使用lineage来实现文件的容错呢？ 在源码中，有2个关键类解决了这个问 ...
分类：
其他好文 时间：
2016-03-29 23:38:00
阅读次数：
664
不可变基础设施如何更好地使用容器技术实现不可变基础设施TachyonTachyon简介南京大学PASA大数据实验室SPARK/TACHYON:基于内存的分布式存储系统Spark on Yarn
搭建spark on yarn集群全过程 —— 可与 3 形成参考
Spark on Yarn
Spark On YARN 集群安装部署 —— 推荐
1) 配置Hadoop Yarn集群时出现的问题及修复：在...
分类：
其他好文 时间：
2016-01-20 13:23:01
阅读次数：
180
集群中运行Tachyon 单机集群 首先下载 Tachyon tar 文件，并且解压： $ wget https://github.com/amplab/tachyon/releases/download/v0.7.1/tachyon-0.7.1-bin.tar.gz
$ tar xvfz tachyon-0.7.1-bin.tar.gz 在?t...
分类：
其他好文 时间：
2015-10-19 19:32:22
阅读次数：
198
Tachyon是AmpLab的李浩源所开发的一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在Tachyon里的文件。Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件，其主要职责是将那些不需要落地到DFS里的文件落地到分布式内存文件系统中来达到共享内存，从而提高效率。...
分类：
其他好文 时间：
2015-09-16 14:22:02
阅读次数：
339
Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让...
分类：
其他好文 时间：
2015-09-10 19:41:48
阅读次数：
280
转自: http://blog.csdn.net/dc_726/article/details/41552593 目录(?)[-] 问题1不同任务或框架间交换数据慢 问题2执行引擎和存储引擎是同一进程 问题3数据被重复加载和GC Tachyon如何容错 参考资料 UCBerkeley研发的Tachy...
分类：
其他好文 时间：
2015-09-05 13:47:30
阅读次数：
179
转自: http://www.csdn.net/article/2015-06-25/2825056 摘要：Tachyon把内存存储的功能从Spark中分离出来， 使Spark可以更专注计算的本身， 以求通过更细的分工达到更高的执行效率。 Tachyon是Spark生态系统内快速崛起的一个新项目。 ...
分类：
其他好文 时间：
2015-09-05 13:47:17
阅读次数：
207
tachyon1.7.1+hadoop2.6.0说明：采用两个节点分别hmaster、slave1下载安装包：tachyon-0.7.1-bin.tar.gz下载地址：http://www.tachyon-project.org/downloads/files/0.7.1/这里面解压到：/app目录中1、解压：tar-zxvftachyon-0.7.1-bin.tar.gz/app/重命名：tachyon-0.7.1tachyo..
分类：
其他好文 时间：
2015-08-28 21:45:49
阅读次数：
180
