一、定义数据库数据模型 create database doubandb; create TABLE books( id bigint(20) unsigned NOT NULL COMMENT ID号， title varchar(255) DEFAULT NULL COMMENT 书名， aut ...
分类：
其他好文 时间：
2021-04-28 11:43:58
阅读次数：
0
OutLine 一般写好一个 scrapy 项目，启动方式大多会在命令行里执行： scrapy crawl “spider-name” （后面有参数就跟参数） 但这么启动不方便去断点调试，不便于快速定位问题、解决问题。 So 记录下自己在pycharm中断点调试的过程。（下文中图片可能看不清，点击即 ...
分类：
其他好文 时间：
2021-04-26 14:02:07
阅读次数：
0
Markdown学习 标题 三级标题 四级标题 字体 Hello,word! Hello,word! Hello,word! Hello,word! 引用 厉俊宇的Markdown学习 分割线 图片 超链接 点击跳转到谷歌 列表 A B C A B C 表格 名字 性别 生日 张三 男 1998.1 ...
分类：
其他好文 时间：
2021-04-26 13:06:04
阅读次数：
0
1 """ 2 正则表达式：regular expression 3 4 本质: 可看成一个模板，按照这个模板规则去匹配 5 6 是一个比较强大的字符串处理工具 7 8 应用场景： 9 1》表单验证 10 2》爬虫 11 3》处理文本和数据 12 13 导入模块：re 14 15 match() 匹 ...
分类：
编程语言 时间：
2021-04-24 13:40:39
阅读次数：
0
1.selenium 基本操作 from selenium import webdriver from time import sleep #实例化一款浏览器对象 bro = webdriver.Chrome(executable_path='chromedriver.exe') #executab ...
分类：
其他好文 时间：
2021-04-23 12:20:22
阅读次数：
0
观察样本城市：上海、北京、深圳、广州、天津、重庆、苏州、成都、武汉、东莞 中介数据： 成交数据： 链家： https://su.lianjia.com/chengjiao/ #城市成交 https://su.lianjia.com/chengjiao/c2311053511334/ #小区成交 （北 ...
分类：
其他好文 时间：
2021-04-20 15:32:55
阅读次数：
0
import requests from lxml import etree import csv headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ...
分类：
其他好文 时间：
2021-04-12 12:41:35
阅读次数：
0
爬取的数据一般需要提交给数据库，这里就介绍了三个主流数据库的连接(mysql,redis,mongodb),如果你的数据库服务器都放在liunx系统上首先要修改一下配置文件将bind 127.0.0.1修改为bind 0.0.0.0这样才能访问数据库。并且需要查看linux防火墙设置。如果开启要将其 ...
分类：
数据库 时间：
2021-04-10 13:21:40
阅读次数：
0
Markdown学习 标题 三级标题 四级标题 字体 wosicc wosicc wosicc wosicc 引用 woiscc，你 分割线 图片 超链接 点到4399 列表 A C A B C 表格 名字性别生日 张二 男 1999.2.5 代码 public hello ...
分类：
其他好文 时间：
2021-04-09 13:33:57
阅读次数：
0
1. 本节目标 我们的主要目标是利用代理爬取微信公众号的文章，提取正文、发表日期、公众号等内容，爬取来源是搜狗微信，其链接为 http://weixin.sogou.com/，然后把爬取结果保存到 MySQL 数据库。 2. 准备工作 首先需要准备并正常运行前文中所介绍的代理池。这里需要用的 Pyt ...
分类：
微信 时间：
2021-04-07 11:15:09
阅读次数：
0
