soup=BeautifulSoup(html)
其中利用模块BeautifulSoap,可能很方便去整理html源文件内容,这里我写了个小例子,大家看一下,代码如下:
html=‘<html><‘
print html
soup =BeautifulSoup(html)
print
soup
运行结果:
至此,一份完整的页面源代码内容保存到变量soap当中,接下来,我们将开始讲解,对soup进行数据分析,先贴出代码如下:
#对soup进行分析
courseTitle=soup.find(name=‘title‘).contents[ 0]
courseInfo=soup.find(attrs={ "id": "list2"})
courseTitleInfo=courseInfo.find_all(attrs={"class" :"u-ctitle" })
courseVideoInfo=courseInfo.find_all(attrs={"class" :"u-cdown" })
for content in courseTitleInfo:
courseCount=courseCount+ 1
for link in courseVideoInfo:
href=link.find(attrs={ "class": "downbtn "})
if type(href)==type(None):
pass
else:
href=link.find(attrs={"class" :"downbtn" }).get("href" )
videoCount=videoCount+ 1
videoUrl.append(href)
return courseTitle,courseCount,videoCount,videoUrl
基本的思路是:先print
soup,看一下里面的内容,找到我们感兴趣的内容,然后利用soup的方法,进行分析
(1)先通过soup的find方法,找到title标签,content返回一个list,其中第一项内容为"课程名".
(2)通过soup的find方法找到id为list2的element,里面包含有每节课的标题和视频下载链接地址,分别位于class为u-ctitle与class为u-cdown之中,利用find_all找到相应内容,分别保存在变量courseTitleInfo,courseVideoInfo当中。
(3)通过for循环遍历,获取需要的信息。
特别提示:
(1)编写中可以不断的运行print和type来关注各个变量
(2)find是查找element,find_all是查找所有的element,两者的返回值类型是不同的,find返回值:<class
‘bs4.element.Tag‘>,find_all返回值:<class
‘bs4.element.ResultSet‘>,里面的每一个元素为Tag,可以用for来遍历
(3)找到一个具体的tag后,可以通过get获得里面的属性内容,如get(‘href‘),而通过contents可以获取里面的内容,返回的是list
(4)这里没有用到fnmatch模块,这个模块的fnmatch方法也是很有用的,具体讲解如下:
fnmatch.fnmatch(name,
pattern)方法:测试name是否匹配pattern,返回true/false
pattern中*匹配任意单一或多个字符,?匹配单一字符
例如fnmatch.fnmatch("hello.mp4","*.mp4")//返回True
(5)对数据的处理是问题的关键,建议大家熟悉BeautifulSoap模块,当然,简单的应用,熟悉find、find_all、get等方法就够了。
好了,数据处理讲解完了,程序的核心功能基本完成,下一篇讲解如何实现图形化界面以及生成exe文件。