标签:dede target clu water int 网址 分享 lan fill
我要抓取奥巴马每周的演讲内容http://www.putclub.com/html/radio/VOA/presidentspeech/index.html
如果手动提取,就需要一个个点进去,再复制保存,非常麻烦。
那有没有一步到位的方法呢,用python这种强大的语言就能快速实现。
首先我们看看这网页的源码
可以发现,我们要的信息就在这样一小条url中。
更具体点说,就是我们要遍历每个类似http://www.putclub.com/html/radio/VOA/presidentspeech/2014/0928/91326.html这样的网址,而这网址需要从上面的网页中提取。
好,开始写代码
首先打开这个目录页,保存在content
下面要提取出每一篇演讲的内容
具体思路是搜索“center_box”之后,每个“href=”和“target”之间的内容。为什么是这两个之间,请看网页源码。
得到的就是每一篇的url,再在前面加上www.putclub.com就是每一篇文章的网址啦
有了文章内容的url后,同样的方法筛选内容。
最后再保存并打印
OK,大功告成!保存成.pyw文件,以后只需双击就直接保存下了obama每周演讲内容~
标签:dede target clu water int 网址 分享 lan fill
原文地址:http://www.cnblogs.com/babyfei/p/6992235.html