上班想摸鱼？为了摸鱼方便，今天自己写了个爬取笔阁小说的程序。好吧，其实就是找个目的学习python，分享一下。 1. 首先导入相关的模块 import os import requests from bs4 import BeautifulSoup 2. 向网站发送请求并获取网站数据 网站链接最后的 ...
分类：
编程语言 时间：
2021-04-22 16:03:13
阅读次数：
0
python爬取网站表格：本文使用了BeautifulSoup和requests包解析地震网站公开数据，并了解网页html结构信息，最终获取最终想要的数据。 ...
分类：
编程语言 时间：
2021-03-15 11:05:34
阅读次数：
0
##Selector对象 Scrapy综合bs（beautifulSoup）和lxml两者优点实现了Selector类,它是基于lxml库构建的,并简化了API接口。在Scrapy中使用Selector对象提取页面中的数据,使用时先通过XPath或CSS选择器选中页面中要提取的数据,然后进行提取。 ...
分类：
其他好文 时间：
2021-03-09 13:07:42
阅读次数：
0
需要引入geopy库 pip install geopy 安装即可 import requests from bs4 import BeautifulSoup import pandas as pd import json import os from tqdm import tqdm from c ...
分类：
编程语言 时间：
2021-02-15 12:35:11
阅读次数：
0
1 # %% NIPS 2020 论文信息下载 2 import json 3 import os 4 import re 5 6 import pandas as pd 7 import requests 8 import tqdm 9 from bs4 import BeautifulSoup ...
分类：
其他好文 时间：
2021-01-12 10:46:54
阅读次数：
0
获取豆瓣https://movie.douban.com/top250的，第一页前25个电影名字 我的答案： import requests from bs4 import BeautifulSoup head={"user-agent": "Mozilla/5.0 (Windows NT 10.0 ...
分类：
编程语言 时间：
2021-01-11 11:30:43
阅读次数：
0
爬取内容为 该图片下的七个分类, 然后对应的每个种类的书本信息(摘要和目录) 效果为 代码如下 import requests from bs4 import BeautifulSoup import re import time from selenium import webdriver fro ...
分类：
编程语言 时间：
2021-01-01 12:57:34
阅读次数：
0
# -*- coding: utf-8 -*- import bs4 import requests from bs4 import BeautifulSoup import pandas as pd import matplotlib.pyplot as plt def getHTMLText(u ...
分类：
Web程序 时间：
2020-12-19 13:08:52
阅读次数：
2
import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() # 如果状态不是200， ...
分类：
其他好文 时间：
2020-12-19 12:33:55
阅读次数：
1
使用的库urllib、bs4——代码如下：fromurllib.requestimporturlopenfrombs4importBeautifulSoupasbf 发出请求，获取html（获取到的是字节，需要转换） html=urlopen("http://www.baidu.com") 用beautifulsoup将获取的内容转换为
分类：
其他好文 时间：
2020-12-18 13:11:18
阅读次数：
3
