码迷,mamicode.com
首页 > 编程语言 > 详细

Selenium python爬虫

时间:2020-01-06 00:43:44      阅读:193      评论:0      收藏:0      [点我收藏+]

标签:google   EAP   环境变量   drive   image   class   enter   storage   imp   

Selenium + Python3 爬虫

准备工作

Chrome驱动下载地址(可正常访问并下载),根据自己chrome的版本下载

Chrome版本 下载地址
78 https://chromedriver.storage.googleapis.com/index.html?path=78.0.3904.70/
79 https://chromedriver.storage.googleapis.com/index.html?path=79.0.3945.36/
80 https://chromedriver.storage.googleapis.com/index.html?path=80.0.3987.16/

下载后解压并配置环境变量到path中,配置环境变量后建议重启系统以便生效。

技术图片
技术图片

安装Selenium库

如果你用的pip,执行

pip install Selenium

但是我用的是Anconda

conda install Selenium

开始爬虫

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

driver = webdriver.Chrome()
driver.get("https://www.jianshu.com")
try:
    titles = driver.find_elements_by_class_name('title')
    for ti in titles:
        print(ti.text)
        print('\n-----------------')
except NoSuchElementException as e:
    print(e)
finally:
    driver.close()

Selenium python爬虫

标签:google   EAP   环境变量   drive   image   class   enter   storage   imp   

原文地址:https://www.cnblogs.com/zhangqiuchi/p/12151955.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!