request模块： 文件乱码： 反爬机制： 动态加载数据爬取 回顾： 正则，xpath，bs4： 正则解析： b64： xpath: 合并条件： 错误分析 ...
分类：
其他好文 时间：
2020-04-10 17:17:30
阅读次数：
73
1、数据库中即时保存数据：Dataset； 2、从网页抓取数据：Beautiful Soup 3、和 HTTP 内容打交道：Requests 4、编写命令行工具：Click 5、对事物命名：Python Slugify 6、和插件打交道：Pluggy 7、把 CSV 文件转换到 API 中：Data ...
分类：
编程语言 时间：
2020-04-10 11:56:52
阅读次数：
98
操作步骤 + 1.下载BeautifulReport文件， "本例文件下载地址" "最新文件下载地址" + 2.复制文件BeautifulReport，至python安装Lib\site packages位置下 + 3.导入:from BeautifulReport import Beautiful ...
分类：
编程语言 时间：
2020-04-08 12:20:26
阅读次数：
84
方式一：正则 import requests import re contents = requests.get('http://www.sohu.com') links = re.findall('href="(.*?)"', contents.text) vaild_link = [] for ...
分类：
Web程序 时间：
2020-04-05 13:53:55
阅读次数：
83
目标 URL：http://tool.chinaz.com/tools/unicode.aspx ...
分类：
其他好文 时间：
2020-04-03 20:16:01
阅读次数：
76
soup.find_all(lambda tag: tag.name=='li' and tag.get('class')==['table_col']) bs中使用的是模糊匹配，所以查到为所有的包括table_col的所有<li> ...
分类：
其他好文 时间：
2020-03-31 14:21:59
阅读次数：
50
一个简单爬虫案例 from bs4 import BeautifulSoup import os import requests response = requests.get("http://www.90xiaohua.com/") response.encoding = "utf-8" # pr ...
分类：
其他好文 时间：
2020-03-25 10:38:34
阅读次数：
52
通过前面的文章，我们已经知道了如何获取网页和下载文件，但是前面我们获取的网页都是未经处理的，冗余的信息太多，无法进行分析和利用 这一节我们就来学习怎么从网页中筛选自己需要的信息，顺便给大家推荐一个资源很全的python学习免非解答.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，这里有资深程 ...
分类：
编程语言 时间：
2020-03-23 15:10:27
阅读次数：
118
记录一下在用python爬取百度链接中遇到的坑： 1.获取百度搜索页面中的域名URL BeautifulSoup获取a标签中href属性后，链接为百度url，利用request直接访问默认会直接进行跳转，无法获取所需域名 此时需要将requests的allow_redirects属性设置为False ...
分类：
编程语言 时间：
2020-03-23 13:50:02
阅读次数：
82
import requestsfrom bs4 import BeautifulSoup url = 'http://fj.huatu.com/zt/2019zwb/'def sss(url): reque = requests.get(url) reque.encoding=reque.appar ...
分类：
Web程序 时间：
2020-03-21 23:37:30
阅读次数：
113
