import requests #HTTP库 从html或xml中提取数据 from bs4 import BeautifulSoup #爬虫库BeautifulSoup4 url = requests.get("http://news.gzcc.cn/html/xiaoyuanxinwen/") ...
分类：
其他好文 时间：
2017-09-28 16:42:17
阅读次数：
254
MarkdownPadDocumentBeautifulSoupfindAll函数
nameList=bsObj.findAll("span",{"class":"green"})
fornameinnamelist:
print(name.get_text())
#找到所有属性class="green"的span标签,通常在你准备打英存储和操作数据时，应该最后才使
用.get_text()。一般情况下，你应该尽可..
分类：
其他好文 时间：
2017-06-26 22:42:15
阅读次数：
142
对python自动化比较熟的同学，很多都懂一些爬虫方法，有些还研究的很深，下面呢我介绍一个简单的爬虫实例，供大家参考。当然里面有很多需求是可以再学习的，下载进度的显示、下载完成的提示等等。一、首先我们要研究爬虫网站的架构，我这里已ring.itools.cn为例，我需要爬的是..
分类：
编程语言 时间：
2017-04-28 23:39:48
阅读次数：
166
一 安装BeautifulSoup 安装Python的包管理器pip 然后运行 $pip3 install beautifulsoup 在终端里导入它测试下是否安装成功 >>>from bs import BeautifulSoup 如果没有错误，说明导入成功了 简单例子 http://sc.chi ...
分类：
其他好文 时间：
2016-12-04 07:12:18
阅读次数：
191
爬虫有时候写正则表达式会有假死现象 就是正则表达式一直在进行死循环查找 例如：https://social.msdn.microsoft.com/forums/azure/en-us/3f4390ac-11eb-4d67-b946-a73ffb51e4f3/netcpu100 所以一般在解析网页的时 ...
分类：
编程语言 时间：
2016-08-23 16:35:13
阅读次数：
161
通过BeautifulSoup库的get_text方法找到网页的正文：#!/usr/bin/envpython
#coding=utf-8
#HTML找出正文
importrequests
frombs4importBeautifulSoup
url=‘http://www.baidu.com‘
html=requests.get(url)
soup=BeautifulSoup(html.text)
printsoup.get_text()
分类：
编程语言 时间：
2016-06-27 00:12:04
阅读次数：
528
简介：通过BeautifulSoup的find_all方法，找出所有a标签中的href属性中包含http的内容，这就是我们要找的网页的一级链接（这里不做深度遍历链接）并返回符合上述条件的a标签的href属性的内容，这就是我们要找的某个网页的所带有的一级链接#!/opt/yrd_soft/bin/python
importre..
分类：
Web程序 时间：
2016-06-27 00:10:14
阅读次数：
176
这里和获取链接略有不同，不是得到链接到url，而是获取每个链接的文字内容#!/opt/yrd_soft/bin/python
importre
importurllib2
importrequests
importlxml
frombs4importBeautifulSoup
url=‘http://www.baidu.com‘
#page=urllib2.urlopen(url)
page=requests.get(url).text
..
分类：
编程语言 时间：
2016-06-27 00:09:57
阅读次数：
240
