Hadoop-2.6.0上调用C的API实现类似云盘的功能（上传，下载，删除，重命名）
测试系统：CentOS6.6， hadoop-2.6.0
本次测试是调用hadoop下的C的API来访问HDFS实现类似云盘的上传，下载，删除，重命名的功能，其它功能还请有意者自行添加，废话少说，开始进入正题。
首先我们要能在hadoop-2.6.0上的C的API访问HDFS
详情可以访问：http:/...
本文结合作者本人及同事对HDFS的学习和实践的理解，首先介绍HDFS的特点和重要SHELL命令(hadoop和hdfs命令)的使用，接着介绍HDFS提供的C访问接口LIB HDFS及其跟普通文件系统的C API的异同，然后介绍如何利用LIB HDFS接口实现简单的HDFS客户端并列举相关应用实例，最后针对编写HDFS客户端中遇到的问题进行描述和分析。...
分类：
编程语言 时间：
2015-08-12 19:28:47
阅读次数：
149
HDFS原理
HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。
高吞吐量访问：HDFS的每个Block分布在不同的Rack上，在用户访问时，HDFS会计算使用最近和访问量最小的服务器给用户提...
分类：
其他好文 时间：
2015-08-12 13:21:12
阅读次数：
110
在上篇文章中eclipse已经能访问HDFS目录，但并不能进行Mapreduce编程，在这里小编将常见错误和处理办法进行总结，希望对大家有所帮助
错误1：ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path...
1.基础包（包括工具包和安全包）包括工具和安全包。其中，hdfs.util包含了一些HDFS实现需要的辅助数据结构；hdfs.security.token.block和hdfs.security.token.delegation结合Hadoop的安全框架，提供了安全访问HDFS的机制。hdfs.ut...
分类：
其他好文 时间：
2015-07-01 17:33:34
阅读次数：
413
集算报表支持的数据源类型除传统的关系型数据库外，还支持：TXT文本、Excel、JSON、HTTP、Hadoop、mongodb等。
对于Hadoop，集算报表既可以直接访问Hive，也可以读取HDFS中的数据，完成数据计算和报表开发。Hive的访问和普通数据库一样使用JDBC就可以，这里不再赘述了。下面通过一个例子来看直接访问HDFS的过程。
报表说明
股票...
分类：
其他好文 时间：
2015-04-28 11:57:33
阅读次数：
217
访问hdfs上的文件并写出到输出台 /** * 访问hdfs上的文件并写出到输出台 * @param args */ public static void main(String[] args) { try { //将hdfs格式...
分类：
编程语言 时间：
2015-04-04 09:05:37
阅读次数：
143
问题导读
1.HDFS HA与QJM解决了什么问题？
2.HDFS HA与QJM区别是什么？
3.在HA（两个namenode）架构下，如何访问hdfs文件？
【使用QJM构建HDFS HA架构(2.2+)】
本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。
一、背景
...
分类：
其他好文 时间：
2015-03-12 11:32:16
阅读次数：
213
来自 Gitbook上的“Spark访问HDFS”
http://chenzhongpu.gitbooks.io/bigdatanotes/content/SparkAccessHDFS/README.html
该书是关于大数据读书笔记的，目前在Gitbook上持续更新 。 Github地址:https://github.com/ChenZhongPu/BigDataGi...
分类：
其他好文 时间：
2015-03-05 20:59:02
阅读次数：
119
HttpFs 有啥用? HttpFs可以干这两件事情: 1.通过HttpFs你可以在浏览器里面管理HDFS上的文件 2.HttpFs还提供了一套REST 风格的API可以用来管理HDFS。其实很简单的一个东西嘛，但是很实用。...
分类：
Web程序 时间：
2015-02-10 13:30:15
阅读次数：
262
