本机上运行server(nginx)和client(curl)，用tcpdumptcpport80命令抓不到数据包，原因是：
本地环回不经过以太网卡，在用tcpdump加参数-ilo来抓本地环回数据。
ngrep环回接口数据抓取方法：使用-dlo参数，注意参数的顺序:ngrep-Wbyline-dloport80
注意ngrep使用port80而不是tc..
分类：
其他好文 时间：
2016-03-12 23:16:31
阅读次数：
369
ngrep环回接口数据抓取方法，使用-dlo参数，注意顺序:ngrep-Wbyline-dloport80
分类：
其他好文 时间：
2016-03-12 23:15:21
阅读次数：
371
抓取安居客新开楼盘的数据，简单写了个爬虫，没有用什么框架，页面解析用了pyquery，对于有中文的html，解析起来清晰且省事。 # -*- coding: utf-8 -*- #############################################################
分类：
其他好文 时间：
2016-02-25 01:38:35
阅读次数：
313
数据抓取的艺术（一）：Selenium+Phantomjs数据抓取环境配置2013-05-15 15:08:14分类：Python/Ruby 数据抓取是一门艺术，和其他软件不同，世界上不存在完美的、一致的、通用的抓取工具。为了不同的目的，需要定制不同的代码。不过，我们不必Start from Sc....
分类：
Web程序 时间：
2016-01-12 01:14:31
阅读次数：
224
作者：RedFree最近的工作需要将乌云历史上比较有含金量的漏洞分析出来，顺便对其它的数据进行了下分析；统计往往能说明问题及分析事物的发展规律，所以就有了此文。（漏洞数据抓取自乌云主站，漏洞编号从1-121018，抓取用时8h。）1、漏洞总数SELECT count(*) FROM AllBugs漏...
分类：
其他好文 时间：
2016-01-01 18:48:39
阅读次数：
2389
HtmlUnit将HttpClient和java自带的网络API进行结合，使抓取数据变的更加容易、更加易于操作。HtmlUnit的底层还是封装了HttpClient，但是经过封装后，解析出来的内容更像一个网页，而不是抽象的请求和响应，所以更加便于开发人员上手。//[1]new一个WebClient，在其中定义一种浏..
分类：
Web程序 时间：
2015-12-20 17:41:33
阅读次数：
400
概要：利用python进行web数据抓取简单方法和实现。1、python进行网页数据抓取有两种方式：一种是直接依据url链接来拼接使用get方法得到内容，一种是构建post请求改变对应参数来获得web返回的内容。一、第一种方法通常用来获取静态页面内容，比如豆瓣电影内容分类下动画对应的链接：http:...
分类：
编程语言 时间：
2015-12-05 17:29:36
阅读次数：
150
网络爬虫－使用正则表达式抓取网络数据关于网络数据抓取不仅仅在iOS开发中有，其他开发中也有，也叫网络爬虫，大致分为两种方式实现1:正则表达2:利用其他语言的工具包：java／Python先来看看网络爬虫的基本原理：一个通用的网络爬虫的框架如图所示： 网络爬虫的基本工作流程如下： 1.首先选取一部分精...
分类：
移动开发 时间：
2015-12-04 20:16:54
阅读次数：
269
网络爬虫－使用正则表达式抓取网络数据关于网络数据抓取不仅仅在iOS开发中有，其他开发中也有，也叫网络爬虫，大致分为两种方式实现1:正则表达2:利用其他语言的工具包：java／Python先来看看网络爬虫的基本原理：一个通用的网络爬虫的框架如图所示： 网络爬虫的基本工作流程如下： 1.首先选取一部分精...
分类：
移动开发 时间：
2015-12-04 18:22:10
阅读次数：
235
一、数据抓取 分析页面数据，设计数据表结构 数据只要包含投票、回答数、问题状态、最后谁回答过、浏览数、问题标题、标签，数据样例如下： 由于一开只打算爬问题标题，问题ID、问题详情也没有记录下来，最后谁回...
分类：
Web程序 时间：
2015-10-24 13:07:33
阅读次数：
383
