【爬虫】爬取豆瓣图书TOP250

#!/user/bin/env python
#coding:utf-8
#先是从selenium导入webdriver，然后用webdriver打开安装好的谷歌浏览器。
from selenium import webdriver
#打开chrom浏览器
browser =webdriver.Chrome()
#访问豆瓣
browser.get(‘https://book.douban.com/top250?icn=index-book250-all‘)



#得到标题
title=browser.find_element_by_xpath("//div[@id=‘content‘]//h1").text
#打印标题
print(title)
#获得当前页面图书信息的元素对象的列表，总共有25条
book_list=browser.find_elements_by_xpath("//tr[@class=‘item‘]")
for ele in book_list:
    print(ele.text+"\n")

#!/user/bin/env python
#coding:utf-8
#先是从selenium导入webdriver，然后用webdriver打开安装好的谷歌浏览器。
from selenium import webdriver
import time
#打开chrom浏览器
browser =webdriver.Chrome()
#访问豆瓣
browser.get(‘https://book.douban.com/top250?icn=index-book250-all‘)


for i in range(10):
    #得到标题
    title=browser.find_element_by_xpath("//div[@id=‘content‘]//h1").text
    #打印标题
    print(title)
    #获得当前页面图书信息的元素对象的列表，总共有25条
    book_list=browser.find_elements_by_xpath("//tr[@class=‘item‘]")
    for ele in book_list:
        print(ele.text+"\n")
    #输出当前页数
    print("------------第%s页------------"%(i+1))

    #下一页
    next_page=browser.find_element_by_class_name("next").click()
    time.sleep(5)
    print("\n")