学习爬虫有一小段时间了，于是决定把自己学爬虫时所学的，写过的代码以及看过的文档记录下来，权当小结。第一次写这些，如果有错误，请多指教。 首先我们需要了解什么是爬虫。 根据百度百科上给出的定义，” 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规 ...
分类：
编程语言 时间：
2018-06-23 11:33:25
阅读次数：
208
一、爬虫定义 网络爬虫，也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的，也就 是URL。 我们输入的url由三部分组成： (1)protocol：第一部分就是协议，例如百度使用的就是https协议； ...
分类：
编程语言 时间：
2018-06-16 22:34:22
阅读次数：
205
认识爬虫 网络爬虫，如果互联网是一张蜘蛛网，网络爬虫既是一个在此网上爬行的蜘蛛，爬了多少路程即获取到多少数据。 python写爬虫的优势 其实以上功能很多语言和工具都能做，但是用python爬取的速度更快，代码最简单，总而言之就是高效！与其它的编程语言作比较，python爬去网站的文档的接口更清晰明 ...
分类：
编程语言 时间：
2018-06-11 17:59:03
阅读次数：
182
一、爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。二、scrapy框架Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络
分类：
其他好文 时间：
2018-06-03 12:35:08
阅读次数：
223
百度百科上这么介绍爬虫： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 在开发爬虫时常用的工具：chrome浏览器，fiddler工具，postman插件。 有关fiddler知识的地址：http:/ ...
分类：
Web程序 时间：
2018-05-27 10:43:50
阅读次数：
214
Python爬虫原理 Python爬虫原理 前言 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前； 一、爬虫是什么？ 如果我们把互联网比作一张大的蜘蛛网，数据便是存放于 ...
分类：
编程语言 时间：
2018-05-24 18:24:04
阅读次数：
261
什么是网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 环境：Python3.6+Windows 开发工具：你喜欢用哪个就用哪个，你开 ...
分类：
编程语言 时间：
2018-05-19 23:29:43
阅读次数：
459
知识内容: 1.爬虫是什么 2.爬虫的基本流程 3.request和response 4.python爬虫工具 参考：http://www.cnblogs.com/linhaifeng/articles/7773496.html 一、爬虫是什么 1.爬虫定义 爬虫：把互联网比作一张大的蜘蛛网，那一台 ...
分类：
编程语言 时间：
2018-05-18 22:50:29
阅读次数：
216
公司产品需要一个雷达图来展示各维度的比重，网上找了一波，学到不少，直接自己上手来撸一记 无图言虚空 简单分析一波，确定雷达图正几边形的 正五边形 int count=5，分为几个层数 4 层 int layerCount=4 主要这几步，开撸！ 自定义RadarView继承View 确定需要使用的变 ...
分类：
移动开发 时间：
2018-05-13 19:57:14
阅读次数：
250
学习爬虫有一小段时间了，于是决定把自己学爬虫时所学的，写过的代码以及看过的文档记录下来，权当小结。第一次写这些，如果有错误，请多指教。 首先我们需要了解一下什么是爬虫。 根据百度百科上给出的定义，” 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定 ...
分类：
编程语言 时间：
2018-05-12 17:26:20
阅读次数：
198
