bs3即BeautifulSoup,官方已经停止维护全部转到bs4(BeautifulSoup4)了,官方建议使用bs4兼容python3和python2,可以参看官方文档那么,问题来了。当import lxml.html.soupparser的时候报bs包找不到。可以用以下方法解决:>>> imp...
分类:
Web程序 时间:
2014-11-08 18:07:13
阅读次数:
189
再写一个用BeautifulSoup抓站的工具,体会BeautifulSoup的强大。根据小说索引页获取小说全部章节内容并在本地整合为小说全文。不过不是智能的,不同的站点对代码需要做相应的修改。#!/usr/bin/env pythonimport osimport sysimport reimpo...
分类:
编程语言 时间:
2014-11-08 16:25:57
阅读次数:
199
这里我们重点讲一下find的几种用法,其他的类比: find(name=None, attrs={}, recursive=True, text=None, **kwargs)(ps:只讲几种用法,完整请看官方link :http://www.crummy.com/software/Beautif....
分类:
编程语言 时间:
2014-11-07 18:53:41
阅读次数:
257
最近闲着没事想看小说,找到一个全是南派三叔的小说的网站,决定都下载下来看看,于是动手,在很多QQ群里高手的帮助下(本人正则表达式很烂,程序复杂的正则都是一些高手指导的),花了三四天写了一个脚本需要 BeautifulSoup 和 requests 两个库(我已经把注释写得尽量详细)这个程序的执行速度...
分类:
编程语言 时间:
2014-11-07 09:48:22
阅读次数:
227
首先在官网下载:http://www.crummy.com/software/BeautifulSoup/#DownloadBeautifulSoup在版本4以上都开始支持python3了,所以就下最新的吧。不过,在安装之前,首先要把这里的代码全部由python2格式转换成python3格式。这个工...
分类:
编程语言 时间:
2014-11-02 16:13:34
阅读次数:
235
LinuxCentos6.4*64安装request以及BeautifulSoupRequests是使用Apache2Licensed许可证的HTTP库。用Python编写,为人类编写。BeautifulSoup是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parsetree)。它提供简单又常用的导航(navigating),搜..
分类:
系统相关 时间:
2014-10-30 15:30:30
阅读次数:
274
最近在学python,之前用Python写过简单的图片爬取,今天想着用python爬一下豆瓣的电影,就有了下面的程序:
#coding:utf-8
import re
import sys
import urllib
from bs4 import BeautifulSoup
def movieSearch():
douBanSearchurl = "http://movie.douban.c...
分类:
其他好文 时间:
2014-10-29 00:26:07
阅读次数:
254
python BeautifulSoup模块的安装 ···一个BeautifulSoup的模块,安装就浪费了俺这么长时间,下载的是BeautifulSoup4-4.1.3, 安装的时候就是 ?????????? python setup.py build ??????????...
分类:
编程语言 时间:
2014-10-17 20:36:34
阅读次数:
191
说起爬虫你一定想起:Scrapy,没用过这个东西,不过从Google,看起来很专业的,由于工作需要,偶尔也会从网上抓取一些数据,之前用的是beautifulsoup,我这个人其实也有点强迫症,一定要知道范围,优劣,那么问题来了?两个东西的范围是什么?以及那个更好?直接Google你可以得到答案原来是...
分类:
编程语言 时间:
2014-10-15 13:11:10
阅读次数:
164