HDFS文件操作 你可以把一个大数据集（100TB）在HDFS中存储为单个文件，而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理，你也不必考虑这些细节。 ? HDFS （Hadoo...
分类：
其他好文 时间：
2014-12-08 14:03:18
阅读次数：
226
发布Apache Hadoop 2.6.0——异构存储，长时间运行的服务与滚动升级支持
我很高兴地宣布，在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt！
特别是，我们很高兴在此版本中相关的三个主要片：异构存储在HDFS使用SSD和内存层，支持长时间运行在YARN服务和滚动升级，将升级您的集群软件，然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心，Hado...
分类：
Web程序 时间：
2014-12-08 12:28:20
阅读次数：
224
Hadoop核心项目：HDFS（Hadoop Distributed File System分布式文件系统），MapReduce（并行计算框架）
HDFS架构的主从结构：主节点，只有一个namenode，负责接收用户操作请求，维护文件系统的目录结构，管理文件与block之间关系，block与datanode之间的关系。
从节点，有很多个datanodes，负责存储文件，文件被分成block存储...
分类：
其他好文 时间：
2014-12-08 09:23:22
阅读次数：
231
扩展HadoopDefaultAuthenticator类的setConf方法，实现可以代理用户运行的功能，主要需求如下：1.不传入参数时，按本用户执行2.传入参数时，按传入参数执行3.对设置为hdfs用户进行限制主要更改HiveConf类和HadoopDefaultAuthenticator类HiveConf增加：HIVE_USE_CUSTOM_PROXY("u..
分类：
其他好文 时间：
2014-12-07 15:10:35
阅读次数：
257
为了优化MapReduce及MR之前的各种工具的性能，在Hadoop内建的数据存储格式外，又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile，以及配合Impala实现出Google Dremel功能(类似甚至是功能的超集)的Parquet等。今天就来一起学习一下HDFS中数据存储的进化历程。数据摆放结构数据摆放结构(data placement structure)，顾名思义，就是数...
分类：
其他好文 时间：
2014-12-06 19:32:48
阅读次数：
620
用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml。那么这些文件在什么时候被hadoop使用？ ...
分类：
其他好文 时间：
2014-12-05 22:32:08
阅读次数：
241
Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146398.html概述HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存...
分类：
其他好文 时间：
2014-12-05 17:08:04
阅读次数：
209
Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146296.html背景在HDFS中，通常是通过DataNode来读取数据的。但是，当客户端向DataNode请求读取文件时，Dat...
分类：
其他好文 时间：
2014-12-05 13:59:52
阅读次数：
4071
Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146410.html简介本文描述了超级用户如何用一种安全的方法以其他用户的名义提交作业或者访问HDFS。使用场景下一节描述的代码示例...
分类：
其他好文 时间：
2014-12-05 13:59:41
阅读次数：
172
Hadoop提供了大量的API对文件系统中的文件进行操作，主要包括：
（1)读取文件
（2)写文件
（3)读取文件属性
（4)列出文件
（5)删除文件
1?读取文件
以下示例中，将hdfs中的一个文件读取出来，并输出到标准输出流中。
package org.jediael.hadoopdemo.fsdemo;
import java.io.IOException;
imp...
分类：
其他好文 时间：
2014-12-05 12:46:47
阅读次数：
171
