第三步：测试Spark集群 把Spark安装包下的”README.txt”上传到 通过hdfs的web控制台可以发现成功上传了文件： 使用“MASTER:spark://SparkMaster:7077?./spark-shell”命令启动Spark?shell： 接下来通过以下命...
分类：
其他好文 时间：
2014-11-19 14:21:03
阅读次数：
211
第三步：测试Spark集群把Spark安装包下的”README.txt”上传到通过hdfs的web控制台可以发现成功上传了文件：使用“MASTER:spark://SparkMaster:7077./spark-shell”命令启动Sparkshell：接下来通过以下命令读取刚刚上传到HDFS上的“...
分类：
其他好文 时间：
2014-11-19 14:08:57
阅读次数：
220
Hadoop读书笔记（二）HDFS的shell操作...
分类：
系统相关 时间：
2014-11-19 11:27:18
阅读次数：
248
http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注...
分类：
Web程序 时间：
2014-11-19 10:32:28
阅读次数：
345
1.HTTPFS:基于HTTP操作hadoophdfs文件系统http://my.oschina.net/cloudcoder/blog/2774262.利用JavaAPI访问HDFS的文件http://blog.csdn.net/zhangzhaokun/article/details/5597433
分类：
Web程序 时间：
2014-11-19 02:03:09
阅读次数：
141
Hadoop读书笔记（二）HDFS的shell操作...
分类：
系统相关 时间：
2014-11-19 01:24:54
阅读次数：
162
关于使用java api上传文件。 在定义一个FileSystem变量的时候伪分布式和单机版的方法是不一样的，单机版使用的是FileSystem类的静态函数FileSystem hdfs = FileSystem.get(conf)伪分布式下需要使用Path来获得Path dstDir = new ...
分类：
其他好文 时间：
2014-11-18 23:52:58
阅读次数：
239
Hadoop下，HDFS运维算是一个非常重要的过程。对于生产而言，海量数据被存储到了HDFS中，如果HDFS挂了，那么导致生产环境无法工作是小，遗失数据而造成的后果将更加巨大。下面总结下CDH体系下HDFS基础运维知识。首先得从HDFS下的NameNode开始，简介下NameNode的工作机制当我们把..
分类：
其他好文 时间：
2014-11-18 01:49:51
阅读次数：
284
也可以查看一下SparkWorker2上的运行情况：我们点击具体的Container查看其信息：程序运行结束后我们可以执行一下命令查看运行结果：也可通过HDFS控制台查看运行结果：可以通过Web控制的JobHistory查看历史工作记录：点击最近运行的WordCount作业进入历史作业详情：发现我们...
分类：
其他好文 时间：
2014-11-17 21:01:18
阅读次数：
164
转载地址：http://blog.csdn.net/strongerbit/article/details/7013221HDFS Federation(HDFS 联盟)介绍1. 当前HDFS架构和功能概述我们先回顾一下HDFS功能。HDFS实际上具有两个功能：命名空间管理（Namespace ma...
分类：
其他好文 时间：
2014-11-17 17:16:23
阅读次数：
271
