1 import urllib.request 2 #获取一个get请求 3 response = urllib.request.urlopen("http://www.baidu.com") 打开网页并返回网页内容给response print(response.read().decode('ut ...
分类：
编程语言 时间：
2021-05-23 23:31:18
阅读次数：
0
分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。 from redis import Redisfrom pymongo import MongoClientimport jsondef redis_to_mongodb(): redis_cl ...
分类：
其他好文 时间：
2021-05-04 16:35:44
阅读次数：
0
scrapy安装配置不在本文 提及， 1.在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令 scrapy startproject mySpider 其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下： 下面来 ...
分类：
数据库 时间：
2021-05-03 11:59:41
阅读次数：
0
一、定义数据库数据模型 create database doubandb; create TABLE books( id bigint(20) unsigned NOT NULL COMMENT ID号， title varchar(255) DEFAULT NULL COMMENT 书名， aut ...
分类：
其他好文 时间：
2021-04-28 11:43:58
阅读次数：
0
OutLine 一般写好一个 scrapy 项目，启动方式大多会在命令行里执行： scrapy crawl “spider-name” （后面有参数就跟参数） 但这么启动不方便去断点调试，不便于快速定位问题、解决问题。 So 记录下自己在pycharm中断点调试的过程。（下文中图片可能看不清，点击即 ...
分类：
其他好文 时间：
2021-04-26 14:02:07
阅读次数：
0
1 """ 2 正则表达式：regular expression 3 4 本质: 可看成一个模板，按照这个模板规则去匹配 5 6 是一个比较强大的字符串处理工具 7 8 应用场景： 9 1》表单验证 10 2》爬虫 11 3》处理文本和数据 12 13 导入模块：re 14 15 match() 匹 ...
分类：
编程语言 时间：
2021-04-24 13:40:39
阅读次数：
0
1.selenium 基本操作 from selenium import webdriver from time import sleep #实例化一款浏览器对象 bro = webdriver.Chrome(executable_path='chromedriver.exe') #executab ...
分类：
其他好文 时间：
2021-04-23 12:20:22
阅读次数：
0
观察样本城市：上海、北京、深圳、广州、天津、重庆、苏州、成都、武汉、东莞 中介数据： 成交数据： 链家： https://su.lianjia.com/chengjiao/ #城市成交 https://su.lianjia.com/chengjiao/c2311053511334/ #小区成交 （北 ...
分类：
其他好文 时间：
2021-04-20 15:32:55
阅读次数：
0
import requests from lxml import etree import csv headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ...
分类：
其他好文 时间：
2021-04-12 12:41:35
阅读次数：
0
爬取的数据一般需要提交给数据库，这里就介绍了三个主流数据库的连接(mysql,redis,mongodb),如果你的数据库服务器都放在liunx系统上首先要修改一下配置文件将bind 127.0.0.1修改为bind 0.0.0.0这样才能访问数据库。并且需要查看linux防火墙设置。如果开启要将其 ...
分类：
数据库 时间：
2021-04-10 13:21:40
阅读次数：
0
