码迷,mamicode.com
首页 > 编程语言 > 详细

Python爬虫实例(二)使用selenium抓取斗鱼直播平台数据

时间:2017-10-01 23:06:05      阅读:478      评论:0      收藏:0      [点我收藏+]

标签:class   __name__   self   循环   find   过程   name   driver   names   

程序说明:抓取斗鱼直播平台的直播房间号及其观众人数,最后统计出某一时刻的总直播人数和总观众人数。

过程分析:

一、进入斗鱼首页http://www.douyu.com/directory/all

进入平台首页,来到页面底部点击下一页,发现url地址没有发生变化,这样的话再使用urllib2发送请求将获取不到完整数据,这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页,这样就可以获取完整响应数据了。

首先检查下一页元素,如下:

<a href="#" class="shark-pager-next">下一页</a>

使用selenium和PhantomJS模拟点击,代码如下:

from selenium import webdriver
# 使用PhantomJS浏览器创建浏览器对象
driver = webdriver.PhantomJS()
# 使用get方法加载页面
driver.get("https://www.douyu.com/directory/all")
# class="shark-pager-next"是下一页按钮,click() 是模拟点击
driver.find_element_by_class_name("shark-pager-next").click()
# 打印页面页面查看
print driver.page_source

这样就可以通过设置一个循环条件,一直点击下去,直到页面加载完。循环终止的条件为最后一页,进入最后一页,检查下一页元素:

<a href="#" class="shark-pager-next shark-pager-disable shark-pager-disable-next">下一页</a>

对比发现:当出现"shark-pager-disable-next",下一页无法点击,这就是循环停止的条件。

# 如果在页面源码里没有找到"shark-pager-disable-next",其返回值为-1,可依次作为判断条件
driver.page_source.find("shark-pager-disable-next")

二,对要提取的内容进行分析

查看直播房间名称的元素,得到如下结果:

<span class="dy-name ellipsis fl">AI冬Ming</span>

使用BeatuifulSoup获取元素,代码如下:

# 房间名
names = soup.find_all("span", {"class" : "dy-name ellipsis fl"})

查看观看人数的元素,得到如下结果:

<span class="dy-num fr">75.6万</span>

使用BeatuifulSoup获取元素,代码如下:

# 观众人数
numbers = soup.find_all("span", {"class" :"dy-num fr"})

具体过程大概如此,下面是完整代码:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from selenium import webdriver
from bs4 import BeautifulSoup as bs
import sys
reload(sys)
sys.setdefaultencoding("utf-8")

class Douyu():
    
    def __init__(self):
        self.driver = webdriver.PhantomJS()
        self.num = 0
        self.count = 0

    def douyuSpider(self):
        self.driver.get("https://www.douyu.com/directory/all")
        while True:
            soup = bs(self.driver.page_source, "lxml")
            # 房间名, 返回列表
            names = soup.find_all("span", {"class" : "dy-name ellipsis fl"})
            # 观众人数, 返回列表
            numbers = soup.find_all("span", {"class" :"dy-num fr"})

            for name, number in zip(names, numbers):
                print u"观众人数: -" + number.get_text().strip() + u"-\t房间名: " + name.get_text().strip()
                self.num += 1
                count = number.get_text().strip()
                if count[-1]=="":
                    countNum = float(count[:-1])*10000
                else:
                    countNum = float(count)
                self.count += countNum
            
            # 一直点击下一页
            self.driver.find_element_by_class_name("shark-pager-next").click()
            # 如果在页面源码里找到"下一页"为隐藏的标签,就退出循环
            if self.driver.page_source.find("shark-pager-disable-next") != -1:
                    break    

        print "当前网站直播人数:%s" % self.num
        print "当前网站观众人数:%s" % self.count
            

if __name__ == "__main__":
    d = Douyu()
    d.douyuSpider()

运行结果(部分展示):

技术分享

 

Python爬虫实例(二)使用selenium抓取斗鱼直播平台数据

标签:class   __name__   self   循环   find   过程   name   driver   names   

原文地址:http://www.cnblogs.com/xinyangsdut/p/7617691.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!