import requests from bs4 import BeautifulSoup a=requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/') a.encoding='utf-8' soup=BeautifulSoup(a.text,... ...
分类：
其他好文 时间：
2017-10-12 21:43:40
阅读次数：
147
1、获取单条新闻的#标题#链接#时间#来源#内容 #点击次数，并包装成一个函数。 结果： 2、获取一个新闻列表页的所有新闻的上述详情，并包装成一个函数。 结果： 3、获取所有新闻列表页的网址，调用上述函数 结果： 4、完成所有校园新闻的爬取工作。 结果： ...
分类：
其他好文 时间：
2017-10-12 13:12:35
阅读次数：
161
import requests import re from bs4 import BeautifulSoup url='http://news.gzcc.cn/html/xiaoyuanxinwen/' res=requests.get(url) res.encoding='utf-8' soup... ...
分类：
其他好文 时间：
2017-10-11 12:48:32
阅读次数：
127
import requests import re from bs4 import BeautifulSoup url='http://news.gzcc.cn/html/xiaoyuanxinwen/' res=requests.get(url) res.encoding='utf-8' soup... ...
分类：
其他好文 时间：
2017-10-11 12:42:33
阅读次数：
102
先发一下官方文档地址。http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 建议有时间可以看一下python包的文档。 Beautiful Soup 相比其他的html解析有个非常重要的优势。html会被拆解为对象处理。全篇转化为字典和数组。 相 ...
分类：
编程语言 时间：
2017-10-10 19:08:32
阅读次数：
252
UnicodeDammit 是BS内置库, 主要用来猜测文档编码. 编码自动检测 功能可以在Beautiful Soup以外使用,检测某段未知编码时,可以使用这个方法: from bs4 import UnicodeDammit dammit = UnicodeDammit("Sacr\xc3\xa ...
分类：
其他好文 时间：
2017-10-10 13:21:14
阅读次数：
648
我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list（1）通过标签名查找 （2）通过类名查找 （3）通过 id 名查找 （4）组合查找 组合查找即和写 class 文件时，标签名 ...
分类：
其他好文 时间：
2017-10-09 17:48:47
阅读次数：
199
from bs4 import BeautifulSoup import requests import re #请求博客园首页 r=requests.get('http://www.cnblogs.com/tangqiu/') #使用html.parser解析html soup=Beautiful... ...
分类：
编程语言 时间：
2017-10-09 15:57:18
阅读次数：
344
想要做python爬虫就需要安装“Beautiful Soup”的第三方库，这能让我们更好的实现爬虫。 下载地址：https://www.crummy.com/software/BeautifulSoup/ Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的 ...
分类：
其他好文 时间：
2017-10-09 10:04:58
阅读次数：
139
使用Jsoup解析HTML 那么我们就必须用到HttpClient先获取到html 同样我们引入HttpClient相关jar包 以及commonIO的jar包 我们把httpClient的基本代码写上，然后解析网页 得到文档对象 我们获取title和制定id的文档对象 代码实例： 由于网页我是登陆 ...
分类：
Web程序 时间：
2017-10-07 18:40:39
阅读次数：
203
