1.BeautifulSoup简介 BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如 ...
分类：
编程语言 时间：
2020-08-18 15:44:46
阅读次数：
114
爬虫介绍 # 介绍爬虫 2 urilib3（内置，不好用），requests--模拟发送http请求 3 Beautifulsoup解析，xpth解析 4 selenium模块，操作浏览器 5 Mongodb 6 反爬：代理池，cookie池，请求头中：user-agent，refer，js逆向 7 ...
分类：
其他好文 时间：
2020-07-31 21:46:31
阅读次数：
87
python 网页解析器 1、常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。 2、常见网页解析器分类 （1）模糊匹配 ：re正则表达式即为字符串式的模糊匹配模式； （2）结构化解析： Beat ...
分类：
编程语言 时间：
2020-07-26 00:29:13
阅读次数：
83
1. urllib https://docs.python.org/zh-cn/3/library/urllib.request.html#module-urllib.request 2. BeautifulSoup https://www.crummy.com/software/Beautiful ...
分类：
其他好文 时间：
2020-07-21 01:10:58
阅读次数：
71
需求：我有一系列appname，想要判断这些appname是否在小米应用市场存在 解决方案：小编写了一个爬虫小程序，返回搜索第一条appname，以此判断该APP是否在小米应用市场存在。 import requestsfrom bs4 import BeautifulSoup def save_fi ...
分类：
移动开发 时间：
2020-07-14 13:39:57
阅读次数：
79
content和text的区别 content中间存的是字节码，而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串。直接输出content，会发现前面存在b'这样的标志，这是字节字符串的标志，而text是，没有前面的b,对于纯ascii码，这两个可以说一模 ...
分类：
编程语言 时间：
2020-07-13 16:53:26
阅读次数：
75
# -*- codeing = utf-8 -*- # @Time : 2020/7/9 16:43 # @Author: 小菜菜最菜 # @File : douban.py # @Software : PyCharm from bs4 import BeautifulSoup# 网页解析，获取数据 ...
分类：
其他好文 时间：
2020-07-12 22:30:01
阅读次数：
102
Python爬取博客的所有文章并存为带目录的word 文档##### import requests from bs4 import BeautifulSoup url = f'http://blog.sina.com.cn/s/articlelist_5119330124_0_1.html' wb ...
分类：
编程语言 时间：
2020-07-12 18:40:55
阅读次数：
75
from bs4 import BeautifulSoup from bs4 import Comment html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b ...
分类：
编程语言 时间：
2020-07-10 18:55:06
阅读次数：
57
import re import requests import random import time import os.path from bs4 import BeautifulSoup import pymysql user_agent_list = [ "Mozilla/5.0 (Wind ...
分类：
其他好文 时间：
2020-07-09 15:06:17
阅读次数：
72
