上周，老大压下来任务，让写一个网络爬虫，负责爬某一个行业网站的数据信息。由于本人只会shell编程语言，其它编程语言从未涉猎，因此就只能硬着头皮用shell去写了。转眼之前已经过去一周了，一切从无到有，经历的坎坷无数，这里我就不一一吐槽。这里呢，我就简单和大家分享下..
分类：
其他好文 时间：
2014-09-11 09:45:02
阅读次数：
335
catnetstat.txtProtoRecv-QSend-QLocal-AddressForeign-AddressState
tcp000.0.0.0:33060.0.0.0:*LISTEN
tcp000.0.0.0:800.0.0.0:*LISTEN
tcp00127.0.0.1:90000.0.0.0:*LISTEN
tcp00coolshell.cn:80124.205.5.146:18245TIME_WAIT
tcp00coolshell.cn:8061.140.101.185:37538FIN_..
分类：
其他好文 时间：
2014-09-09 18:33:19
阅读次数：
315
import os import sysimport subprocessif len(sys.argv)' + file_name + '_split_' + str(i)) os.system('sed \'1,' + str(split_num) + 'd\' ' + file_name .....
分类：
系统相关 时间：
2014-09-09 17:41:49
阅读次数：
254
sed 命令可以很好的进行行匹配，但从某一行中精确匹配某些内容，则使用 grep 命令并辅以 -o 和 -E 选项可达到此目的。其中 -o 表示“only-matching”，即“仅匹配”之意。光用它不够，配合 -E 选项使用扩展正则表达式则威力巨大。比如下面有一条文本 tmp.txt ，其中内容为...
分类：
其他好文 时间：
2014-09-05 15:57:31
阅读次数：
273
在文件某一行上添加一列#awk实现
awk-va="add_chars"‘{print$0}/REGE/{print$0,a}‘file.txt
解释：-v：引入一个变量a，/REGE/：使用正则匹配一行
#sed实现
sed‘/REGE/{s/.&/&add_chars/g}‘file.txt
解释：/REGE/：匹配到正则REGE后进行替换动作
2.不同的..
分类：
其他好文 时间：
2014-09-05 03:26:51
阅读次数：
287
awk是一个非常棒的数字处理工具。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分为数个“字段”来处理。运行效率高，而且代码简单，对格式化的文本处理能力超强。先来一个例子： 文件a，统计文件a的第一列中是浮点数的行的浮点数的平均值。用awk来实现只需要一句话就可以搞定$cat a1.....
分类：
其他好文 时间：
2014-09-05 02:09:50
阅读次数：
195
sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为：sed [-nefri] ‘command’ 输入文本常用选项：-n∶使用安静(silent)模式。在一般 sed 的用法中，...
分类：
其他好文 时间：
2014-09-05 02:07:40
阅读次数：
241
#!/bin/bash
service iptables stop
chkconfig iptables off
sed -i ‘/SELINUX=enforcing/s/^/#/‘ /etc/selinux/config
sed -i ‘/#SELINUX=enforcing/a SELinux=disabled‘ /etc/selinux/config
cp /etc/sysc...
分类：
Web程序 时间：
2014-09-04 22:25:50
阅读次数：
274
$sql="select * from table_name where field_name like '%$var%'"; $result=mysql_query($sql) or die; MySQL提供标准的SQL模式匹配，以及一种基于象Unix实用程序如vi、grep和sed的扩展正则表达...
分类：
数据库 时间：
2014-09-04 18:18:59
阅读次数：
194
在学些shell的 grep, awk, sed 中,发现书中用大多都是单引号. 一开始我总在寻思,为什么用单引号,明明双引号也是行的呀. 中倒是说过:单引号 中的特殊字符失去了特殊意义. 当时也就有那么个印象,记没那么深刻.实践用到的时候,方才知道. 所以,我觉得,如果需要匹配特殊字符...
分类：
其他好文 时间：
2014-09-03 16:21:36
阅读次数：
205
