码迷,mamicode.com
首页 > 其他好文 > 详细

BeautifulSoup中的一些问题

时间:2017-04-02 21:55:05      阅读:334      评论:0      收藏:0      [点我收藏+]

标签:loading   中文   原因   补全   war   html   内容   receive   object   


  使用wkpdftohtml将爬取到的网页生成PDF时,使用示例代码

import requests
from bs4 import BeautifulSoup
import pdfkit
url = http://www.liaoxuefeng.com/wiki/       001434446689867b27157e896e74d51a89c25cc8b43bdb3000
response = requests.get(url)
bsObj = BeautifulSoup(response.content, xml)
body = bsObj.findAll(class_=x-wiki-content)
html = str(body)
html = html.encode(utf-8)
fp = open(test.html, wb)
fp.write(html)
fp.close()
fp = open(test.pdf, wb)
fp.close()
pdfkit.from_file(test.html, test.pdf)

  出现警告

Warning: A finished ResourceObject received a loading progress signal. This might be an indication of an iframe taking too long to load

  并且没有得到预想中的PDF文件。(代码块访问的是廖雪峰的js教程网站)

将beautifulsoup中的解析器换成"lxml"或“html.parser则能够生成预期的PDF文件

  阅读BeautifulSoup的文档

技术分享

  原因是xml的解析方式将网页中的hr标签补全并使其并入前一个div标签,所以html文件中出现了大量的其他内容?致使生成失败?(目前没学html,所以不是很了解,如有其他好的见解望指正)

  解决办法是将解析器换成‘lxml’,或者‘html.parser’,‘html5lib‘

不过生成的test.PDF不是中文,而我爬取的整个教程是中文,暂时推测是因为测试的内容太少,BeautifulSoup自动检测的时候识别错误,详细请看

Beautifulsoup链接

未完待续

 


 

BeautifulSoup中的一些问题

标签:loading   中文   原因   补全   war   html   内容   receive   object   

原文地址:http://www.cnblogs.com/ZackBee/p/6659849.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!