1、概述Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer)$HADOOP_HOME/bi...
分类:
其他好文 时间:
2014-06-19 06:10:13
阅读次数:
345
一、输出,把过滤器过滤出的内容输出到输出设备或者文件,包含>,>>1、其中>为重新输出,没错输出都会清空输出设备或者文件内容,如果输出错误信息用2> ,如果普通信息和错误信息都输出用&> or 2>&1如 cat filepath > /tmp/tmpinfo 2>&1 cat filepath &...
分类:
其他好文 时间:
2014-06-19 00:22:59
阅读次数:
300
一般我们在linux上读取文件,是用vi工具,如果是写shell 脚本时,一般式通过cat 再
使用管道来达到流的处理。但如果文件太大,单纯的cat 可能会使用过多的内存,而且实现上还需要后续的加工,不大可取。下面我分享两个方法来读取部分文件。方法一sed
-n "10,20p" /opt/chen...
分类:
系统相关 时间:
2014-06-16 07:23:20
阅读次数:
308
查看系统版本cat /etc/redhat-release下载CentOS 版本所对应的EPEL 的版本wget http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm命令安装EPEL 软件包rpm ...
分类:
其他好文 时间:
2014-06-15 22:16:46
阅读次数:
413
echo $(cat 你需要的文件) >> ./目的文件
使用cat获取你想要的文件内容,然后使用echo写入。问题在于cat获取的\n可能失效。如果单纯的作为ACM输入测试数据使用,还是有些价值的。——当然也可以直接生成:Python生成测试数据
$?用于返回上一个程序的执行结果;
diff file file2用于判断两个文件是否相同——如果相同,返回0。可以用上一个命令查看...
分类:
系统相关 时间:
2014-06-15 13:40:31
阅读次数:
411
用nmap对局域网扫描一遍,然后查看arp缓存表就可以知道局域内ip对应的mac了。nmap比较强大也可以直接扫描mac地址和端口。执行扫描之后就可以cat /proc/net/arp查看arp缓存表了。进行ping扫描,打印出对扫描做出响应的主机: $ nmap -sP 192.168.1.0/....
分类:
系统相关 时间:
2014-06-15 07:01:37
阅读次数:
530
今天将项目部署到Centos 6.3 x64上面的tomcat 7.0.54,访问链接出现了404错误。后来查看了/usr/local/apache-tomcat-7.0.54/logs/catalina.out 文件,出现了Error listenerStart 。org.apache.cat.....
分类:
其他好文 时间:
2014-06-14 23:44:17
阅读次数:
740
su:Swithuser切换用户,切换到root用户cat:Concatenate串联uname:Unixname系统名称df:Diskfree空余硬盘du:Diskusage硬盘使用率chown:Changeowner改变所有者chgrp:Changegroup改变用户组ps:ProcessSta...
分类:
系统相关 时间:
2014-06-14 22:02:41
阅读次数:
440
出现这种错误是因为主机名和/etc/hosts 文件不一致,只需要把主机名和其IP 写入/etc/hosts 文件,就ok了。注意名字不能有下划线修改network 文件之外,再使用hostname 命令指定一下主机名,就不用重启OS了。 1. 修改/etc/sysconfig/network 文件[root@localhost~]# cat /etc/sysconfig/networkN...
分类:
数据库 时间:
2014-06-14 17:29:44
阅读次数:
418
输入2个字符串S1和S2,要求删除字符串S1中出现的所有子串S2,即结果字符串中不能包含S2。
输入格式:
输入在2行中分别给出不超过80个字符长度的、以回车结束的2个非空字符串,对应S1和S2。
输出格式:
在一行中输出删除字符串S1中出现的所有子串S2后的结果字符串。
输入样例:
Tomcat is a male ccatat
cat
输出样例:
Tom ...
分类:
其他好文 时间:
2014-06-13 21:44:07
阅读次数:
293