1 import requests 2 from bs4 import BeautifulSoup 3 4 count = 0 5 for x in range(20): 6 count += 1 7 res_web = requests.get('https://www.baidu.com/') ...
分类：
其他好文 时间：
2020-05-13 23:28:06
阅读次数：
119
import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r=requests.get(url,timeout=30) soup=BeautifulSoup(r.text) r.raise_for_status( ...
分类：
其他好文 时间：
2020-05-13 16:29:07
阅读次数：
160
1.这方面的知识掌握不是很熟练，根据教员讲解和课本，试着模仿着做了中国大学排名爬虫 2.代码如下 import requestfrom bs4 import BeautifulSoup allUniv=[]def getHTMLText(url): try: r=request.get(url,ti ...
分类：
其他好文 时间：
2020-05-11 01:35:12
阅读次数：
126
最终代码 1 # _*_ coding:utf-8 _*_ 2 # from 坾尘 3 # 2020/5/09 4 from selenium import webdriver 5 import time 6 from bs4 import BeautifulSoup 7 import matplo ...
分类：
其他好文 时间：
2020-05-10 21:33:08
阅读次数：
178
import requests as rfrom bs4 import BeautifulSoup import matplotlib.pyplot as pdef gethtmltext(url): try: a=r.get(url,timeout=30) a.raise_for_status() ...
分类：
其他好文 时间：
2020-05-10 20:51:16
阅读次数：
141
技术选型，爬虫能做什么？ 1、Scrapy VS requests+beautifulsoup requests和beautifulsoup都是库，Scrapy是框架。 scrapy框架可以加入requests和beautifulsoup。 scrapy是基于twisted，性能是最大的优势。 sc ...
分类：
其他好文 时间：
2020-05-09 19:05:02
阅读次数：
58
注意：使用前要装selenium第三方的库才可以使用 版本：python3 from bs4 import BeautifulSoup from urllib import request # 要请求的网络地址 url = 'https://www.hao123.com/' # 请求网络地址得到ht ...
分类：
编程语言 时间：
2020-05-07 23:09:21
阅读次数：
90
快速使用 from bs4 import BeautifulSoup soup = BeautifulSoup(html,'lxml') 一、基本使用 1、标签选择器 soup.标签名 获取这个标签内容，如果有多个该标签，就返回第一个 获取名称 soup.title.name 获取属性 soup.p ...
分类：
编程语言 时间：
2020-05-05 12:28:47
阅读次数：
73
1.主题：百度新闻爬取 2. python代码： import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status( ...
分类：
其他好文 时间：
2020-05-03 10:59:32
阅读次数：
207
先说一下本人学习爬虫的过程吧，先是下载了requests库，BeautifulSoup库，并根据MOOC上和网络上的资料进行爬虫学习。个人比较喜欢钢琴曲，就尝试去爬取爬取世界十大钢琴名曲简介。根据所学，写下了如下代码： 但得到的结果是（内容太多就只截取一部分）： 不难发现，里面很多内容并不是我想要的 ...
分类：
其他好文 时间：
2020-04-30 21:12:23
阅读次数：
71
