shell之文本过滤（awk）分类：linux shell脚本学习2012-09-19 15:531241人阅读评论(0)收藏举报shell正则表达式脚本任务语言如果要格式化报文或从一个大的文本文件中抽取数据包，那么awk可以完成这些任务。为了获取所需信息，文本必须格式化，也就是说要使用域分隔符来划...
分类：
其他好文 时间：
2014-06-30 21:15:20
阅读次数：
324
1.ETL：数据抽取2.抽取数据在不同的数据源之间，把数据进行转化，加载，清洗操作，保证抽取的数据合法。3.开源实现：Kettle 工具====================================================================学习：大家可以学学这个Ket...
分类：
其他好文 时间：
2014-06-26 13:05:42
阅读次数：
210
参照着网上的爬虫案例（点我），先做了一个demo，基本的爬虫项目创建，以及数据抽取，数据分析，数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧，根据指定的关键字库，搜索出含有关键字的链接，并抽取出来，用于后续告警。 因此，基于需求，分如下步骤：
第一：基于Scrapy创建爬虫项目；...
分类：
编程语言 时间：
2014-04-28 17:37:30
阅读次数：
707
