摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
分类:
其他好文 时间:
2014-06-20 13:33:46
阅读次数:
151
下午
开启ssh服务:service sshd status
rsa:金融界的加密算法
exit
第一次exit是从ssh退出,第二次是退出终端
ssh hadoop0:使用ssh连接主机名为hadoop0(换成ip地址也行) 的机器
使用ssh和服务器(Linux)进行连接:ssh是加密的连接,相当于过了一圈,又回到了原点,但是是加密了的。
secure shell==s...
分类:
其他好文 时间:
2014-06-20 12:51:48
阅读次数:
253
摘要:Hadoop之MapReduce程序包括三个部分:Mapper,Reducer和作业执行。本文介绍和分析MapReduce程序三部分结构。...
分类:
其他好文 时间:
2014-06-20 12:32:07
阅读次数:
197
1. 简介
参见《Hadoop in Action》P102 以及 《Hadoop实战(第2版)》(陆嘉恒)P69
2. 案例
网上大部分的说明仅仅是按照《Hadoop in Action》中的示例代码给出,这里是Hadoop0.20.2版本,在该版本中已经实现了BloomFilter。
案例文件如下:
custome...
分类:
其他好文 时间:
2014-06-20 11:01:33
阅读次数:
197
关于hadoop1.X的安装,其实和0.x的基本没有多大的差别。...
分类:
其他好文 时间:
2014-06-07 14:57:07
阅读次数:
195
摘要:MapReduce程序开发流程遵循算法思路、Mapper、Reducer、作业执行的步骤。...
分类:
其他好文 时间:
2014-06-07 13:42:08
阅读次数:
242
写在前面一:本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰。写在前面二:使用软件说明:约定所有软件的存放目录:/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-0.9.0...
分类:
其他好文 时间:
2014-06-07 13:33:43
阅读次数:
274
这篇文章几乎是对Push SSH public keys to multiple
host的翻译,谢谢该作者。使用SSH登陆、执行命令到远程机器需要输入密码,很多系统需要免输密码访问远程机器,比如hadoop主节点访问子节点时,这时可以使用ssh-copy-id命令将公钥拷贝到远程机器上,比如:
s...
分类:
其他好文 时间:
2014-06-07 10:42:57
阅读次数:
208
完全参考:http://blog.csdn.net/cruise_h/article/details/18709969这上面的安装教程伪分布配置:http://my.oschina.net/mynote/blog/93735
分类:
其他好文 时间:
2014-06-05 14:21:55
阅读次数:
212
一:课程简介:
Hadoop是云计算分布式大数据的事实标准软件框架,Hadoop中的架构实现是整个云计算产业技术的基础,作为与Google三大核心技术DFS、MapReduce、BigTable相对的HDFS、MapReduce、和HBase也是整个Hadoop生态系统的核心的技术,本课程致力于帮您...
分类:
其他好文 时间:
2014-06-05 14:17:33
阅读次数:
273