import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() # 如果状态不是200， ...
分类：
其他好文 时间：
2020-12-19 12:33:55
阅读次数：
1
一、给定url，直接下载到本地 import re import requests from bs4 import BeautifulSoup def get_gif(url, a): response = requests.get(url) # 自己电脑上的文件夹路径，默认命名 a.gif wit ...
分类：
编程语言 时间：
2020-12-07 12:35:37
阅读次数：
6
使用的库 bs4 requests pymongo fastapi uvicorn 爬取ip 网络上搜索一下有很多提供HTTP代理的网站，直接使用BeautifulSoup将IP爬下来。 html =requests.get(url).text bs =BeautifulSoup(html,'htm ...
分类：
编程语言 时间：
2020-12-02 12:09:56
阅读次数：
6
写一下Python如何安装模块： 1.下载BS4模块： http://www.crummy.com/software/BeautifulSoup/bs4/download/4.3/beautifulsoup4-4.3.2.tar.gz 2.解压到linux中的某个文件夹中并进入该文件夹 3 执行 p ...
分类：
其他好文 时间：
2020-11-18 12:37:39
阅读次数：
5
bs4 全名 BeautifulSoup，是编写 python 爬虫常用库之一，主要用来解析 html 标签。 一、初始化 from bs4 import BeautifulSoup soup = BeautifulSoup("<html>A Html Text</html>", "html.par ...
分类：
其他好文 时间：
2020-10-14 20:26:32
阅读次数：
33
什么是爬虫? 编写程序, 模拟浏览器访问服务器, 从而获取动态资源 爬虫基本流程 发送请求 通过模块或库模拟浏览器, 向目标站点发送请求, 请求可以携带headers和参数等信息, 然后等待服务器响应 获取响应 服务器正常响应, 会返回一个response, 即页面内容, 可能是html, json ...
分类：
其他好文 时间：
2020-09-08 20:44:36
阅读次数：
43
1.BeautifulSoup简介 BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如 ...
分类：
编程语言 时间：
2020-08-18 15:44:46
阅读次数：
114
准备工作 1、安装Ipython（请见”Ipython的安装”） 2、实验用的文档（你自己用vi编辑器创建文件就好了） 一、Python内置的Open函数 在Python中，要对应文件进行操作，只要使用内置的Open函数打开文件即可。Open函数接受文件名和打开模式作为参数，返回一个文件对象。工程师 ...
分类：
编程语言 时间：
2020-08-11 15:48:09
阅读次数：
65
F. Beautiful Rectangle 题解： 本来这个题目不准备写题解了的，因为这个确实不是很难，但是我wa了很多次之后，发现还是有写的必要。 这个题目首先求出p和q，这个不是很难求，就是统计每一个数字的数量，然后排序一下，求出每一个宽 x 可以放进去的最多的数量。 求出 p q之后就是构造 ...
分类：
其他好文 时间：
2020-07-28 22:52:00
阅读次数：
89
【一、项目简介】本文主要目标是采集淘宝的评价，找出客户所需要的功能。统计客户评价上面夸哪个功能多，比如防水，容量大，好看等等。【二、项目准备工作】1.准备Pycharm，下载安装等，可以参考这篇文章：Python环境搭建—安利Python小白的Python和Pycharm安装详细教程2.爬取商品地址，如下所示：https://detail.tmall.com/item.htm?spm=a230r.
分类：
编程语言 时间：
2020-07-27 09:55:52
阅读次数：
103
