前天简单分享了用shell写网络爬虫的一些见解，今天特地把代码发出来与51博友分享，还是那句话，爱技术、爱开源、爱linux。针对脚本的注解和整体构思，我会放到脚本之后为大家详解。#!/bin/bash
#
#Thisscriptisusedtograbthedataonthespecifiedindustrywebsites
#Writtenbysuns..
分类：
其他好文 时间：
2014-09-14 11:27:27
阅读次数：
295
1.开启block_dump,此时会把io信息输入到dmesg中echo1>/proc/sys/vm/block_dump统计当前占用IO最高的10个进程：dmesg|awk-F:‘{print$1}‘|sort|uniq-c|sort-rn|head-n102.测试完后，关闭block_dumpblock_dump参数echo0>/proc/sys/vm/block_dump
分类：
系统相关 时间：
2014-09-12 15:29:44
阅读次数：
299
#!/bin/bash
ip=`/sbin/ifconfig|grep"Bcast"|awk‘{print$2}‘|awk-F:‘{print$2}‘|head-n1`
cd/root/soft/memcached
#安装libevent
tarzxvflibevent-2.0.12-stable.tar.gz
cdlibevent-2.0.12-stable
./configure--prefix=/usr/local/libevent
make&&makeinstall
cd/root..
分类：
其他好文 时间：
2014-09-12 15:18:24
阅读次数：
176
正则表达式是处理一批繁杂的数据，做到快速搜索，快速匹配，快速替换删除等功能的一种需求。常用正则表达式的命令有grep，sed，awk（三剑客）vi，egrep。其中egrep和awk还支持扩展的正则表达式。下面先介绍一下这些命令。vi和vim在以后介绍。grep：-v：排除匹配内容。-i：忽略..
分类：
系统相关 时间：
2014-09-12 02:31:13
阅读次数：
302
应用场景：有时候我们要给远在北京或者国外的开发人员服务器的权限，为了保证服务器的安全性我们不想让他们知道服务器的root登陆密码，所以我们可以给他们用秘钥的登陆模式。客户端ip：192.168.0.163服务器ip：192.168.0.1671.密钥认证的生成[root@vm1.ssh]#ifconfigeth0|awk‘/..
分类：
其他好文 时间：
2014-09-11 17:31:12
阅读次数：
217
上周，老大压下来任务，让写一个网络爬虫，负责爬某一个行业网站的数据信息。由于本人只会shell编程语言，其它编程语言从未涉猎，因此就只能硬着头皮用shell去写了。转眼之前已经过去一周了，一切从无到有，经历的坎坷无数，这里我就不一一吐槽。这里呢，我就简单和大家分享下..
分类：
其他好文 时间：
2014-09-11 09:45:02
阅读次数：
335
Awk 是一种非常好的语言，同时有一个非常奇怪的名称。在本系列（共三篇文章）的第一篇文章中，Daniel Robbins 将使您迅速掌握 awk 编程技巧。随着本系列的进展，将讨论更高级的主题，最后将演示一个真正的高级 awk 演示程序。 捍卫 awk 在本系列文章中，我将使您成为精通 awk 的编...
分类：
系统相关 时间：
2014-09-10 20:51:31
阅读次数：
278
引用shell变量year=`date+%Y`month=`date|awk‘{print$2}‘`awk-vy=$year-vm=$month‘BEGIN{FS="/";i=0}2==m&&$3==y{i++;$1=9999}END{printi}‘$logpath
分类：
其他好文 时间：
2014-09-10 19:47:51
阅读次数：
218
