python爬取贴吧数据 最近写个简单的爬取贴吧数据的demo，分享给大家 爬取内容包括： import requests import parsel # pip install parsel import urllib.request import urllib.parse import re i ...
分类：
数据库 时间：
2020-12-07 12:01:47
阅读次数：
9
使用的库 bs4 requests pymongo fastapi uvicorn 爬取ip 网络上搜索一下有很多提供HTTP代理的网站，直接使用BeautifulSoup将IP爬下来。 html =requests.get(url).text bs =BeautifulSoup(html,'htm ...
分类：
编程语言 时间：
2020-12-02 12:09:56
阅读次数：
6
背景 学习 Python 的话，仅掌握标准库是远不够的，有很多好用的第三方库我们也需要用到的，比如，由鼎鼎大名的 K 神开发的爬虫必不可少的 requests 库，一般都是必装的库吧。安装第三方库当然还是用 pip 命令安装最方便了。 但是，大家发现 pip install + 包名 的方式 安装第 ...
分类：
编程语言 时间：
2020-11-26 15:12:40
阅读次数：
8
前台Axios配置： axios.defaults.withCredentials = true; .Net Core 后台配置： #region CORS //跨域方法，先注入服务，声明策略，然后再下边app中配置开启中间件 services.AddCors(c => { //一般采用这种方法 c ...
分类：
移动开发 时间：
2020-11-23 12:38:19
阅读次数：
18
[A] 网络爬虫引发的问题 1. 当前网络爬虫根据规模可分为三种： 1. 小型规模，主要用于爬取网页，玩转网页，数据量小，并且对于爬取速度不敏感，这种爬虫可以直接通过Python提供的第三方库Requests即可实现 2. 中等规模，主要用于爬取网站，系列网站，数据量大，并且对于爬取速度有敏感性，如 ...
分类：
编程语言 时间：
2020-11-20 12:08:29
阅读次数：
11
接口自动化测试三部曲：1、构造请求 2、判断结果 3、数据库查询 1、Python的第三方包：requests 简介：requests可以用来做接口测试、接口自动化测试、爬虫等 requests的环境搭建：管理员身份在cmd运行：pip3 install requests -i https://py ...
分类：
编程语言 时间：
2020-11-18 13:19:45
阅读次数：
23
写一下Python如何安装模块： 1.下载BS4模块： http://www.crummy.com/software/BeautifulSoup/bs4/download/4.3/beautifulsoup4-4.3.2.tar.gz 2.解压到linux中的某个文件夹中并进入该文件夹 3 执行 p ...
分类：
其他好文 时间：
2020-11-18 12:37:39
阅读次数：
5
import datetime import json import requests from exception import AsstException #自定义 from log import logger #自定义 class Messenger(object): def __init__ ...
分类：
编程语言 时间：
2020-11-11 16:32:04
阅读次数：
9
首先在spiders下，创建muouren.py import scrapy import json import time class MyspiderSpider(scrapy.Spider): name = "muou" def start_requests(self): urls = ['h ...
## 简单爬虫 最近参加了长风杯数据挖掘竞赛，队内分工后我选择数据获取这一项任务。 ### 1、选取目标页面 https://space.bilibili.com/546195/video ### 2、利用Element检查工具寻找需求数据 ### 3、通过搜索查找api ### 4、在termin ...
分类：
其他好文 时间：
2020-11-08 17:12:03
阅读次数：
21
