1.selenium 基本操作 from selenium import webdriver from time import sleep #实例化一款浏览器对象 bro = webdriver.Chrome(executable_path='chromedriver.exe') #executab ...
分类：
其他好文 时间：
2021-04-23 12:20:22
阅读次数：
0
观察样本城市：上海、北京、深圳、广州、天津、重庆、苏州、成都、武汉、东莞 中介数据： 成交数据： 链家： https://su.lianjia.com/chengjiao/ #城市成交 https://su.lianjia.com/chengjiao/c2311053511334/ #小区成交 （北 ...
分类：
其他好文 时间：
2021-04-20 15:32:55
阅读次数：
0
- 环境的安装 a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录，执行 pip3 install Twisted?17.1.0?cp35?cp35m?win_ ...
分类：
其他好文 时间：
2021-04-15 12:48:59
阅读次数：
0
import requests from lxml import etree import csv headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ...
分类：
其他好文 时间：
2021-04-12 12:41:35
阅读次数：
0
爬取的数据一般需要提交给数据库，这里就介绍了三个主流数据库的连接(mysql,redis,mongodb),如果你的数据库服务器都放在liunx系统上首先要修改一下配置文件将bind 127.0.0.1修改为bind 0.0.0.0这样才能访问数据库。并且需要查看linux防火墙设置。如果开启要将其 ...
分类：
数据库 时间：
2021-04-10 13:21:40
阅读次数：
0
1. 本节目标 我们的主要目标是利用代理爬取微信公众号的文章，提取正文、发表日期、公众号等内容，爬取来源是搜狗微信，其链接为 http://weixin.sogou.com/，然后把爬取结果保存到 MySQL 数据库。 2. 准备工作 首先需要准备并正常运行前文中所介绍的代理池。这里需要用的 Pyt ...
分类：
微信 时间：
2021-04-07 11:15:09
阅读次数：
0
Scrapy快速入门： 安装和文档： 1、安装：通过pip install Scrapy即可安装 2、Scrapy官方文档： http://doc.scrapy.org/en/latest 3、Scrapy中文文档： http://scrapy chs.readthedocs.io/zh_CN/la ...
分类：
其他好文 时间：
2021-04-06 15:10:38
阅读次数：
0
Scrapy框架架构： Scrapy框架介绍： 写一个爬虫，需要做很多的事情。比如：发送请求、数据、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求。这些工作如果每次都要自己从零开始写的话，比较浪费时间’因此Scrapy 把一些基础的东西封装好了，在它上面写爬虫可以变的更加的高效（爬取 ...
分类：
其他好文 时间：
2021-04-06 15:10:26
阅读次数：
0
Scrapy 如何控制导出顺序 1. 遇到的问题 在用Scrapy到处item的时候，发现顺序错乱（应该是按照abc的顺序排列的），并不是items.py文件中定义的顺序，那么如何控制呢？ 2. fields_to_export 我在查看官网文档的时候找到了这个属性，它的解释是这样的： fields ...
分类：
其他好文 时间：
2021-04-05 12:28:39
阅读次数：
0
一、Xpath语法简介 还有一种 灵活、强大 的选择元素的方式，就是使用 Xpath 表达式。 XPath (XML Path Language) 是由国际标准化组织W3C指定的，用来在 XML 和 HTML 文档中选择节点的语言。 目前主流浏览器 (chrome、firefox，edge，safa ...
分类：
其他好文 时间：
2021-04-05 11:51:33
阅读次数：
0
