爬虫设计 爬虫基本包含 爬虫调度器，URL管理器（已爬与待爬），HTML下载器（获取网络信息），HTML解析器，数据存储器五个部分。 0x1 网站调研 了解网站基本特点，设计相应的爬取方案 探测反爬措施，设计对应反反爬方式 查看网站的robot.txt与sitemap，了解网站限制内容 : 指定对哪 ...
分类：
其他好文 时间：
2019-10-12 22:35:11
阅读次数：
98
print('安徽财贸职业学院牛逼')#定义变量：#name:变量名#=:用于绑定变量名与变量值#‘吕连杰’：变量的值name='吕连杰'age=21sex='female'#调用变量print(name,age,sex)#整型age=18#浮点型# height=1.9names='tank'#判 ...
分类：
其他好文 时间：
2019-09-24 10:37:12
阅读次数：
71
数据提取方法一 利用json 数据交换格式，看起来像python类型（列表，字典）的字符串 使用json之前需要导入 import json 哪里会返回json的数据 浏览器切换到手机版 抓包app json.loads 把json字符串转换为python类型 json.loads(json字符串) ...
分类：
其他好文 时间：
2019-08-27 00:38:51
阅读次数：
94
认识HTTP、HTTPS 1.http:超文本传输协议 以明文的形式传输 效率更高，但是不安全 2.https:http+ssl（安全套接字层） 传输之前数据先加密，之后解密获取内容 效率低，但是安全 3.get请求和post请求的区别 get请求没有请求体，post有，get请求把数据放到url地 ...
分类：
其他好文 时间：
2019-08-26 23:18:29
阅读次数：
190
发送get,post请求，获取响应 安装requests模块： pip install requests response=requests.get(url,headers={})#发送get请求，请求url地址对应的响应 response=requests.post(url,headers=,{} ...
分类：
其他好文 时间：
2019-08-26 22:55:22
阅读次数：
96
通用爬虫和聚焦爬虫 一、通用爬虫 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo 等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 二、通用搜索引擎（Search Engine）工作原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网 ...
分类：
其他好文 时间：
2019-08-19 22:44:08
阅读次数：
102
1.网络爬虫：抓取网络数据的程序用python程序模仿人去访问网站，逼真度越真越好可以用来爬取有价值的数据 2.企业获取数据的方式 1 自有数据 比如 自家职员信息表格等 2 第三方数据平台购买 数据堂、贵阳大数据交易所 3 爬虫爬取数据 3.其他语言也可以做爬虫如PHP，JAVA，C、C++ 4、 ...
分类：
其他好文 时间：
2019-07-29 14:22:43
阅读次数：
108
下载 Anaconda 第一次没注意，下载成了.pkg格式，那是macOS专用格式……白等了十多分 Anaconda如何下载及安装 1.百度输入 Anaconda，打开官网 2.点右上角 “Download” 3.点中间的”Download“或手动拉下去可以看到下载图标 【默认下载 macOS！】 ...
分类：
其他好文 时间：
2019-07-29 13:00:34
阅读次数：
127
爬虫基础 什么是爬虫? 爬虫是通过程序模拟浏览器上网,从网上获取数据的过程. 爬虫的分类: 通用爬虫:爬取一整个页面的数据. 聚焦爬虫:爬取页面中指定的局部数据 增量式爬虫:检测网站中数据更新的情况,爬取的是网站中最新更新出来的数据. 什么是反爬机制? 网站制作时设置的一系列阻止爬虫程序进行的阻碍, ...
分类：
其他好文 时间：
2019-06-11 22:25:22
阅读次数：
169
