在很多大数据应用场景中，某些具体的处理问题通常只涉及到整体数据集的一个子集或部分数据。这导致长时间占用大规模集群的整体数据分析方式的资源有效利用率较低，并且总体代价较高，尤其在系统采用计算和存储并置（...
分类：
其他好文 时间：
2017-02-23 19:06:11
阅读次数：
154
1. 介绍 2. 实验说明 2.1 实验环境 2.2 实验方法 2.3 实验负载 3. MapReduce on alluxio 3.1 读取10G文件（1G split） 3.2 读取20G文件（1G split） 3.3 读取60G文件（1G split） 3.4 读取60G文件（512MB s ...
分类：
其他好文 时间：
2016-12-16 14:40:55
阅读次数：
197
转自：http://kaimingwan.com/post/alluxio/spark-on-alluxiohe-mr-on-alluxioce-shi-gai-jin-ban 1. 介绍 2. 准备数据 2.1 清空系统缓存 3. MR测试 3.1 MR without alluxio 3.2 M ...
分类：
其他好文 时间：
2016-12-16 14:19:46
阅读次数：
1131
前言Alluxio是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在Alluxio里的文件。把Alluxio是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件，其前身为Tachyon。Alluxio起源于Alluxio公司创始人李浩源读博期间在UCBerkeleyAMPLab实验室的..
分类：
其他好文 时间：
2016-12-09 20:23:41
阅读次数：
285
本文总结了Hadoop生态系统中各个组件使用的端口，包括了HDFS，Map Reduce，HBase，Hive，Spark，WebHCat，Impala，Alluxio，Sqoop等，后续会持续更新。 HDFS Ports： Service Servers Default Ports Used Pr ...
分类：
其他好文 时间：
2016-12-06 09:36:46
阅读次数：
200
华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。 华为拥抱开源Alluxio：内存将成重要战略平台 Alluxio此前曾名为Tachyon Nexus，是一家由Andreessen Horo ...
分类：
其他好文 时间：
2016-09-05 09:11:19
阅读次数：
173
１.大写转为小写echo "ALLUXIO_WORKER_MEMORY_SIZE" | tr -s '[:upper:]' '[:lower:]'2.case的时候可以使用正则#enable the regexp case matchshopt -s extglob 3;删除空行 替换掉注释掉的行 ...
分类：
其他好文 时间：
2016-08-24 07:41:18
阅读次数：
156
一、文件下载和解压 1）下载地址：http://www.alluxio.org/download 2） 解压命令如下： $ wget http://alluxio.org/downloads/files/1.2.0/alluxio-1.2.0-bin.tar.gz$ tar xvfz alluxio ...
分类：
其他好文 时间：
2016-08-01 19:25:18
阅读次数：
267
概述 互联网公司同质应用服务竞争日益激烈，业务部门亟需利用线上实时反馈数据辅助决策支持以提高服务水平。Alluxio（前Tachyon）作为一个以内存为中心的虚拟分布式存储系统，在大数据系统性能提升以及生态系统多组件整合的进程中扮演着重要角色。本文将介绍去哪儿网（Qunar）的一个基于Alluxio ...
分类：
其他好文 时间：
2016-05-31 10:35:18
阅读次数：
346
Alluxio（之前名为Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快 ...
分类：
其他好文 时间：
2016-05-11 23:37:33
阅读次数：
297
