可以看出途家做了极多的反爬措施，无论是假数据、js加密，还是各种极高耦合性的加密参数，还是IP或者登陆校验，以至于现在取消了PC网页端的情况，但目前来看都不是很难攻克。 ...
分类：
其他好文 时间：
2020-12-30 10:46:22
阅读次数：
0
简介 Scrapy是爬取网站，提取结构性数据并存储的应用框架。对爬取过程中的请求、返回、解析、存储、调度等流程提供模块化支持。 items模块——定义需要爬取的数据字段 保存爬取到的数据的容器，python的字典类型。根据网站数据对item进行定义字段。 # items示例 import scrap ...
分类：
其他好文 时间：
2020-12-29 11:43:51
阅读次数：
0
1、表单校验步骤 （1）确定事件（submit事件），创建一个函数并和该事件绑定。 （2）书写函数对输入的数据是否合法进行校验（需要设定ID并通过ID来获取用户输入的数据的值）。 （3）输入的信息合法，可以正常提交；不合法的话，不能提交用户信息并给出提示信息。 2、校验函数 （1）非空校验： 通过I ...
分类：
Web程序 时间：
2020-12-29 11:36:25
阅读次数：
0
最近收到业务需求，了解puppeteer，做自动化登录，获取cookie值 首先自己得澄清一下，之前对于puppeteer是个什么玩意完全不知道，百度一下出来的题目都是爬虫利器，详细了解了之后才发现主要有一下几个功能会经常用到puppeteer库： 1.生成页面PDF 2.做自动化测试（所谓的自动化 ...
分类：
其他好文 时间：
2020-12-29 11:13:37
阅读次数：
0
一、Scrapy的简介 Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下 它主要由五大组件和两中间件组成： 五大组件： 1、引擎（ENGINE)：用来处理整个系统的 ...
分类：
其他好文 时间：
2020-12-29 11:11:00
阅读次数：
0
我认为学python应该先系统地熟悉下语言的基础，大致掌握python语言的特性，切片、map、lambda表达式、面向对象等，如果做爬虫或web服务的话三个器（生成器、迭代器、装饰器）、三个程（多进行、多线程、协程）都了解下，后面看你想拿他做什么？
分类：
编程语言 时间：
2020-12-25 13:18:39
阅读次数：
0
Python最近火了，大红大紫那种。PYPL(编程语言受欢迎程度)四月官方榜单宣布，Python荣获NO.1，竟然连朋友圈里的文科生都开始转发Python课程打卡的链接了……这是怎样一个令全民疯狂的语言？作为编程界的“头牌”名媛，Python平易近人的态度和精明婉约的灵动深得各个大佬欢心。比如：人工智能、web开发、爬虫、系统运维、数据分析与计算等等。这几位风流多金的行业精英随便哪个都能“逆转未来
分类：
编程语言 时间：
2020-12-24 12:39:20
阅读次数：
0
python是一门非常不错的编程语言，通俗易懂、适合零基础入门，尤其是爬虫领域有着独特的优势，成为了首选编程语言。
分类：
编程语言 时间：
2020-12-23 11:55:55
阅读次数：
0
# encoding: utf-8 import urllib.request import urllib.parse url = "https://www.so.com/s?q=" keyword = input("请输入搜索关键词") keyword = urllib.parse.quote(k ...
分类：
其他好文 时间：
2020-12-19 12:36:43
阅读次数：
1
使用的库urllib、bs4——代码如下：fromurllib.requestimporturlopenfrombs4importBeautifulSoupasbf 发出请求，获取html（获取到的是字节，需要转换） html=urlopen("http://www.baidu.com") 用beautifulsoup将获取的内容转换为
分类：
其他好文 时间：
2020-12-18 13:11:18
阅读次数：
3
