Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
一、实践证明,在AIX上用的是ksh,linux上是bashsh或bsh,全名是bourneshell。它最早出现,是标准shell。后两者都兼容它。ksh和bash后续加入了历史记录,交互特性,数组,等新功能。ksh在unix上使用较多。比如hpux,AIXbash在linux上使用较多。也可以用...
分类:
其他好文 时间:
2014-05-11 01:30:57
阅读次数:
432
1、准备数据存放的文件系统新建一个逻辑卷,并将其挂载至特定目录即可。这里不再给出过程。这里假设其逻辑卷的挂载目录为/mydata,而后需要创建/mydata/data目录做为mysql数据的存放目录。2、新建用户以安全方式运行进程:#
groupadd -r mysql # useradd -g m...
分类:
数据库 时间:
2014-05-10 18:12:27
阅读次数:
464
----本文大纲分布式文件系统MogileFS环境安装及配置代理测试-------------一、分布式文件系统分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可以支持大数量的节点以..
分类:
其他好文 时间:
2014-05-10 09:05:12
阅读次数:
568
linux权限及ntfs文件系统权限的知识
文件的权限:
[-dcbps][u:rwx][g:rwx][a:rwx]
其中: r=4, w=2, x=1, u=owner, g=group, a=all user
d=dir, -=file, l=symbolic link, p=pipe,
c=character device...
分类:
系统相关 时间:
2014-05-10 04:41:09
阅读次数:
511
AIX5.3下Oracle10gRAC启动故障--CRS启动失败系统环境:操作系统:AIX5300-09集群软件:CRS10.2.0.1数据库:Oracle10.2.0.1系统架构图故障现象:系统重启后,在节点上CRS启动失败或CRS服务启动成功,CRSResource无法ONLINE。[root@aix213racg]cat/etc/hosts127.0.0.1loopbackloc..
分类:
数据库 时间:
2014-05-10 03:57:53
阅读次数:
1163
MOUNT(8) System Administration MOUNT(8)名称 mount -
挂载文件系统语法 mount [-lh...
分类:
其他好文 时间:
2014-05-10 02:38:33
阅读次数:
506
建立 nfs 服务器 在嵌入式 linux 开发的时候,常常需要使用 nfs
以方便程序的调试。使用
nfs,用户可以将板子要用到的根文件系统放在主机目录下,开发板则通过以太网挂载到这个目录并将这个目录下的文件作为根文件系统的内容,这样用户的程序更新后不比重新烧写板子的根文件系统便能被重新使用,这点...
分类:
其他好文 时间:
2014-05-10 02:34:33
阅读次数:
226
很多人在学习Nutch、Hadoop或者熟悉Linux操作系统时都会选择在VMWare上安装Linux虚拟机,而又往往不想分配给Linux虚拟机足够大的硬盘空间,这就容易导致使用Linux一段时间后,发现虚拟机上的硬盘空间不够了,此时怎么解决?有的人直接选择了重新安装Linux虚拟机,但是下一次硬盘又不够了呢,还要重新安装操作系统吗,那再下一次呢?这种方法势必会进入一个重复无聊的过程,除了增加安装...
分类:
系统相关 时间:
2014-05-09 21:52:40
阅读次数:
526
AIX5.3InstallOracle10gRAC错误集锦--9iRACPresent系统环境:操作系统:AIX5300-08集群软件:CRS10.2.0.1数据库:Oracle10.2.0.1系统架构图故障现象:解决方法:[root@aix215tmp]#cat/etc/oratab#ThisfileisusedbyORACLEutilities.Itiscreatedbyroot.sh#andupdatedbytheDatabas..
分类:
数据库 时间:
2014-05-09 21:46:15
阅读次数:
596