安装包： requests,lxmlrequest包用于进行数据抓取，lxml用来进行数据解析对于对网页内容的处理，由于html本身并非如数据库一样为结构化的查询所见即所得，所以需要对网页的内容进行分析然后进行内容提取，lxml就是用来完成此项工作在requests中最用的方法为get()方法，通常 ...
分类：
编程语言 时间：
2017-01-12 18:23:36
阅读次数：
324
最近网站一直受到恶意请求和攻击，把最近限制防护历程记录一下： 1、请求次数超过阈值做限制 刚开始网站并没有受到攻击，但有一些恶意抓取网站数据的爬虫，为了防止别人抓取本网站数据，做了请求次数限制，具体思路就是，单位时间内，请求次数超过设定的阈值，自动转向验证码页面，验证通过后可以继续访问，这样既不影响 ...
分类：
Web程序 时间：
2017-01-06 12:46:30
阅读次数：
928
{LJ?Dragon}【注】Struts标签的三个好处 RELATED LINKS0.UTF-8 有无BOM的区别 UTF-8 BOM06. 几款网页数据抓取软件SOFTWARE_INTRODUCE1.修改记事本编码默认CHANGE NOTEPAD (UTF-8)07.EasyUEFI简介EasyU... ...
分类：
其他好文 时间：
2017-01-05 21:14:08
阅读次数：
234
HP-Socket 是一套通用的高性能 TCP/UDP/HTTP 通信框架，包含服务端组件、客户端组件和 Agent 组件，广泛适用于各种不同应用场景的 TCP/UDP/HTTP 通信系统，提供 C/C++、C#、Delphi、E（易语言）、Java、Python 等编程语言接口。HP-Socket... ...
分类：
Web程序 时间：
2016-12-27 20:05:02
阅读次数：
320
r.text返回的是Unicode型的数据。 r.content返回的是bytes型的数据。 也就是说，如果你想取文本，可以通过r.text。 如果想取图片，文件，则可以通过r.content。 （r.json()返回的是json格式数据） 抓取json数据后, 可以直接使用相应对象的json()方 ...
分类：
其他好文 时间：
2016-12-24 11:13:45
阅读次数：
169
Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是 ...
分类：
编程语言 时间：
2016-12-22 06:32:18
阅读次数：
260
这段时间工作比较空闲，在网上找资料学习的时候看到数据抓取这一块，来了兴趣 用jsoup实现数据抓取着实方便，唯一美中不足的是官方API是英文版的，对我这样英语水平不好的程序员来说着实困扰，只能一点点的去实践 所以有了这篇随记，以后用的时候好回头温习温习 Jsoup的一系列解析html操作是基于Doc ...
分类：
Web程序 时间：
2016-12-12 19:41:41
阅读次数：
210
这篇博文主要讲一下如何使用Phantomjs进行数据抓取，这里面抓的网站是太平洋电脑网估价的内容。主要是对电脑笔记本以及他们的属性进行抓取，然后在使用nodejs进行下载图片和插入数据库操作。 ...
分类：
数据库 时间：
2016-12-07 01:19:30
阅读次数：
275
概要 这篇博客是在上一篇博客Phantomjs+Nodejs+Mysql数据抓取（1.抓取数据） http://blog.csdn.net/jokerkon/article/details/50868880 后进行的第二部分，请各位读者在看这篇博客之前先浏览上一篇，因为这里面有部分代码会沿用到上一部 ...
分类：
数据库 时间：
2016-12-07 01:19:14
阅读次数：
411
前期有段时间困扰了我很久一个问题由于工程中的图片数据抓取自不同平台，所以图片的大小尺寸不一定，而放置图片的imageView尺寸是一定的，不作任何处理的话会导致图片拉伸变形，因此找了好久解决办法，现把它拿出来。 ...
分类：
Web程序 时间：
2016-11-05 14:55:15
阅读次数：
218
