转自: http://blog.csdn.net/dc_726/article/details/41552593 目录(?)[-] 问题1不同任务或框架间交换数据慢 问题2执行引擎和存储引擎是同一进程 问题3数据被重复加载和GC Tachyon如何容错 参考资料 UCBerkeley研发的Tachy...
分类：
其他好文 时间：
2015-09-05 13:47:30
阅读次数：
179
转自: http://www.csdn.net/article/2015-06-25/2825056 摘要：Tachyon把内存存储的功能从Spark中分离出来， 使Spark可以更专注计算的本身， 以求通过更细的分工达到更高的执行效率。 Tachyon是Spark生态系统内快速崛起的一个新项目。 ...
分类：
其他好文 时间：
2015-09-05 13:47:17
阅读次数：
207
一、 文件、相对路径与绝对路径
1.文件
(1)标准文件：就像图片，音乐文件等。
(2)目录文件：也就是平常所说的文件夹。
(3)虚拟内存文件：系统在运行程序时生成的临时性文件。
2.文件的路径
(1)相对路径：相对于某一文件的路径，形象地说是把两文件的绝对路径相同的部分砍掉，剩下的就是相对路径
如：
A文件是"D:\MyDocuments\StudySample\s...
分类：
编程语言 时间：
2015-07-30 14:59:34
阅读次数：
133
Tachyon是Spark生态系统内快速崛起的一个新项目。 本质上， Tachyon是个分布式的内存文件系统， 它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出...
分类：
其他好文 时间：
2015-07-07 11:14:48
阅读次数：
177
ReduceTask类的内嵌类ReduceCopier的内嵌类MapOutputCopier的函数copyOutput是Shuffle里最重要的一环，它以http的方式，从远程主机取数据：创建临时文件名，然后用http读数据，再保存到内存文件系统或者本地文件系统。它读取远程文件的函数是getMapOutput。
getMapOutput函数如下：
private MapOutput g...
分类：
其他好文 时间：
2015-05-13 08:50:45
阅读次数：
131
ramfs内存文件系统ramfs是一个利用VFS自身结构而形成的内存文件系统。ranfs没有自己的文件存储结构，它的文件存储于page cache中，目录结构由dentry链表本身描述，文件则由VFS的inode结构本身描述。/proc文件系统/proc文件系统是个虚拟文件系统，它通过文件系统接口实...
分类：
其他好文 时间：
2015-05-09 01:13:02
阅读次数：
122
1，配置grub，设定ramdisk_size=size[root@localhost~]#cat/etc/grub.conf
#grub.confgeneratedbyanaconda
#
#Notethatyoudonothavetorerungrubaftermakingchangestothisfile
#NOTICE:Youhavea/bootpartition.Thismeansthat
#allkernelandinitrdpathsarerelativeto/boot/,..
分类：
其他好文 时间：
2015-03-05 15:01:23
阅读次数：
171
1，kernel配置，设置ramdisk大小[root@localhost~]#cat/etc/grub.conf
#grub.confgeneratedbyanaconda
#
#Notethatyoudonothavetorerungrubaftermakingchangestothisfile
#NOTICE:Youhavea/bootpartition.Thismeansthat
#allkernelandinitrdpathsarerelativeto/boot/,eg.
..
分类：
其他好文 时间：
2015-03-05 15:00:06
阅读次数：
136
在centos系统上自带的内存文件系统。这个tmpfs是temporary file system的意思。一、使用命令 df -h 查看tmpfs是否正在运行。Filesystem Size Used Avail Use% Mounted on/dev/mapper/VolG...
分类：
系统相关 时间：
2015-02-12 18:21:24
阅读次数：
198
