Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容， ...
分类：
数据库 时间：
2017-07-07 23:32:44
阅读次数：
966
简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Ha... ...
分类：
其他好文 时间：
2017-07-05 17:35:53
阅读次数：
269
一、概述 近年来，大数据技术如火如荼，怎样存储海量数据也成了当今的热点和难点问题，而HDFS分布式文件系统作为Hadoop项目的分布式存储基础，也为HBASE提供数据持久化功能，它在大数据项目中有很广泛的应用。 Hadoop分布式文件系统(Hadoop Distributed File System ...
分类：
编程语言 时间：
2017-06-14 14:20:06
阅读次数：
275
数据平台架构图 HDFS：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HD ...
分类：
其他好文 时间：
2017-06-09 14:04:51
阅读次数：
127
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍。基本涵盖了Hadoop分布式平台的全部技术核心。 HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过M ...
分类：
其他好文 时间：
2017-05-21 16:01:36
阅读次数：
134
在计算机领域，排序的重要性不用多说。而排序的算法，效率分析等也一直是研究的热点。 本文将给出使用Hadoop分布式方案进行排序的例子，这能极大提高排序的速度，是需要重点掌握的一个案例。 ...
分类：
编程语言 时间：
2017-05-20 12:15:47
阅读次数：
141
HDFS 架构简述 Hadoop分布式文件系统（HDFS）是一个分布式的文件系统，运行在廉价的硬件上。它与现有的分布式文件系统有很多相似之处。然而与其他的分布式文件系统的差异也是显着的。HDFS是高容错的，被设计成在低成本硬件上部署。HDFS为应用数据提供高吞吐量的访问，适用于具有大规模数据集的应用 ...
分类：
其他好文 时间：
2017-05-15 15:08:26
阅读次数：
246
參考资源下载：http://pan.baidu.com/s/1ntwUij3视频安装教程：hadoop安装.flvVirtualBox虚拟机：hadoop.part1-part5.rarhadoop文件：hadoop-2.2.0.tar.gzhadoop配置文件：hadoop_conf.tar.gz ...
分类：
其他好文 时间：
2017-05-13 22:13:24
阅读次数：
193
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析 低成本的Blob存储是一个强大的。通用的Hadoop兼容Azure存储解决方式无缝集成HDInsight。通过Hadoop分布式文件系统（HDFS）接口，完整的组件集合在HDInsight能够在Blob存储数据的直接操作。在本教 ...
分类：
其他好文 时间：
2017-05-12 14:55:37
阅读次数：
189
Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件而言，当读取这个文件时需要有r权限，当写入或者追加到文件时需要有w权限。对目录 ...
分类：
其他好文 时间：
2017-05-09 21:41:19
阅读次数：
358
