第1部分 重新认识C语言shell脚本中的文件操作 【文章摘要】 编写shell脚本时，经常会涉及到对文件的操作，比如从文件中读取一行数据、向文件追加一行数据等。完成文件读写操作的方法有很多，了解各种命令下文件操作的执行情况，有助于开发人员在不同使用场景下选择合适的命令。 本文以实际的shell脚本为例，介绍了对文件进行操作的不同方法，为相关开发工作提供了参考。【关键词】...
分类：
其他好文 时间：
2014-05-18 15:52:35
阅读次数：
388
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流，数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率，没有设定特殊的reducer，一般默认使用IdentityReducer（把输入直接转向输出）
通过HDFS的命令getMerge（输出合并）或其他文件操作，可以获得...
分类：
其他好文 时间：
2014-05-18 15:12:21
阅读次数：
380
之前看过Python学习的经验，说以工程为导向学习。
自己分析了一下，一般接触Python的都有一定的其他语言基础，对于程序设计的基本逻辑，语法都有一个大概的了解。而Python这种脚本语言，没有过于独特的语法，在一定的其他语言的基础上，更是可以直接上手的。
之前看Python简明教程，半天没有进度。正好遇上Python爬虫项目，直接上手，方便快捷。
网站：http://acm.njupt.edu.cn/welcome.do?method=index，正值系统更新，于是写一个备份代码的爬虫。...
分类：
编程语言 时间：
2014-05-18 08:25:35
阅读次数：
461
[ sed简介: ]
sed是一个很好的文件处理工具, 它本身是一个管道命令, 以行为单位进行处理, 可以用于对数据行进行新增、选取、替换、删除等操作。
sed命令行格式：sed [-nefri] 'range command' file
[ sed工作流程: ]
使用vim这种屏幕编辑器编辑一个文件的时候, 我们需要把这个文件打开, 这里存在两个问题:
1. 打开一个比较大的文件会消耗很多内存。
2. 我们无法写脚本调用vim来编辑文件, 但是sed可以通过写脚本编辑文件。...
分类：
系统相关 时间：
2014-05-18 06:53:12
阅读次数：
551
通常在redis机器数量多的时候，需要对redis的机器进行状态监控，可以采用Linux 的nc 来对多个shard进行状态查询和监测...
分类：
其他好文 时间：
2014-05-18 05:51:38
阅读次数：
247
[ grep简介: ]
grep是用来过滤含有特定字符的行
用法: grep 关键字 file
如: grep 'bbb' aaa.txt --color # 从文件aaa.txt中搜索关键词bbb, 并高亮显示。...
分类：
系统相关 时间：
2014-05-18 03:26:10
阅读次数：
357
我们在运维中，尤其是linux运维，都知道脚本的重要性，脚本会让我们的
运维事半功倍，所以学会写脚本是我们每个linux运维必须学会的一门功课，这里收藏linux运维常用的脚本。如何学好脚本，最关键的是就是大量的练习
和实践。根据以下脚本我们可以拓展，这样我们提高的很快！举一反三！ 1．用Shell...
分类：
系统相关 时间：
2014-05-18 02:07:12
阅读次数：
403
ssh登陆不能在命令行中指定密码。sshpass的出现，解决了这一问题。sshpass用于非交互SSH的密码验证，一般用在sh脚本中，无须再次输入密码。它允许你用-p参数指定明文密码，然后直接登录远程服务器，它支持密码从命令行、文件、环境变量中读取。其默认没有安装，需要手动安装，方法如下：sshpa...
分类：
其他好文 时间：
2014-05-18 00:51:14
阅读次数：
258
写脚本的时候，经常需要用到超时控制。看《shell专家编程》时看到一个好例：修改了一下，1.超过timeout时间还没执行完，则kill进程，发邮件告警:set-xmailSend(){
mailContent="xxxx Web response time over 5 seconds" echo...
分类：
其他好文 时间：
2014-05-17 23:30:14
阅读次数：
497
