目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
以下主要讲解了Hadoop的文件读写操作流程:读文件 读文件时内部工作机制参看下图:
客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通.....
分类:
其他好文 时间:
2014-04-30 13:39:04
阅读次数:
375
如果Hbase的时间没有同步,启动主节点会起来,子节点的regionServer就不会起来。错误日志如下:aused by:
org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutO...
分类:
其他好文 时间:
2014-04-30 00:50:16
阅读次数:
565
摘自:http://blog.csdn.net/rangf/article/details/6096365SecureCRT这款SSH客户端软件同时具备了终端仿真器和文件传输功能。比ftp命令方便多了,而且服务器不用再开FTP服务了。rz,sz是便是Linux/Unix同Windows进行ZMode...
no datanode to stop; no namenode to stop; Bad
connection to FS. command aborted.; 网络时断时许错误;
分类:
其他好文 时间:
2014-04-29 20:35:45
阅读次数:
637
本文记录Hadoop 2.x在Linux x64下重新编译的过程。环境:Centos 6.5
x64 &Hadoop 2.2一、安装编译包yum install svnyum install autoconfautomake libtool
cmakeyum install ncurses-deve...
分类:
其他好文 时间:
2014-04-29 19:19:52
阅读次数:
451
dao层:@Repository(value
="")或者@Component(value="")service层:@Service(value ="")或者@Component(value="")
有关事务的配置: @Transactional(propagation=P...
分类:
其他好文 时间:
2014-04-29 16:38:46
阅读次数:
446
cd ~/.ssh/如果目录不存在就新建一个 mkdir ~/.ssh制作公匙
ssh-keygen -t rsa默认会生成id_rsa.pub的公匙将公匙推送到指定的服务器 scp id_rsa.pub
username@server:~/.ssh/id_rsa.pub登录到服务器 ssh use...
分类:
系统相关 时间:
2014-04-29 16:01:32
阅读次数:
625
先确保本地Linux服务器SSH服务开启,如果没有开启直接执行指令:service sshd
start然后我们使用ssh指令进行远程登陆ssh username@ip-address输入passwd指令修改旧密码修改默认账号rootvi
/etc/passwd按i键进入编辑状态修改第1行第1个ro...
分类:
系统相关 时间:
2014-04-29 15:51:22
阅读次数:
586
使用公钥登录OpenSSH2013年10月24日16:47 生成密钥对
我所知道的,有三种生成密钥对的工具,分别为GNU/Linux下的ssh-keygen命令、puttygen、SSH Secure Shell。
使用ssh-keygen生成密钥对 [root@ld365 ~]# ssh-keyg...
分类:
其他好文 时间:
2014-04-29 10:11:47
阅读次数:
615