1 """ 2 正则表达式:regular expression 3 4 本质: 可看成一个模板,按照这个模板规则去匹配 5 6 是一个比较强大的字符串处理工具 7 8 应用场景: 9 1》表单验证 10 2》爬虫 11 3》处理文本和数据 12 13 导入模块:re 14 15 match() 匹 ...
分类:
编程语言 时间:
2021-04-24 13:40:39
阅读次数:
0
1.selenium 基本操作 from selenium import webdriver from time import sleep #实例化一款浏览器对象 bro = webdriver.Chrome(executable_path='chromedriver.exe') #executab ...
分类:
其他好文 时间:
2021-04-23 12:20:22
阅读次数:
0
一、excel数据分析工具_EXCE弱点 EXCEL一直是非常流行的个人计算机数据处理工具,它可以处理多种多样的数据,操作非常简单,支持丰富的函数、统计图表,在工作中更是非常得力的生产力工具。然而随着时代的不断演进,现如今由于大家对于数据工具的要求越来越高,EXCEL分析能力的不足也逐渐暴露出来,包 ...
分类:
其他好文 时间:
2021-04-22 15:33:58
阅读次数:
0
观察样本城市:上海、北京、深圳、广州、天津、重庆、苏州、成都、武汉、东莞 中介数据: 成交数据: 链家: https://su.lianjia.com/chengjiao/ #城市成交 https://su.lianjia.com/chengjiao/c2311053511334/ #小区成交 (北 ...
分类:
其他好文 时间:
2021-04-20 15:32:55
阅读次数:
0
前置知识 了解tomcat nio处理流程之前需要了解一下IO多路复用和Reactor模型。下图是主从Reactor多线程模型的设计图,mainReactor负责接收连接,subReactor负载读写数据,工作线程池负责编解码和计算,tomcat的架构模型和下图类似,但是有点区别。 Tomcat N ...
分类:
其他好文 时间:
2021-04-20 15:11:20
阅读次数:
0
解决问题:采用并行运算提升数据处理速度 首先介绍一下并行计算是同时有很多程序一起运行,线程是进程的基本单位,一个进程中包括很多个线程,线程共享同一个进程的资源和空间,而进程之间是独立的,互不干扰,不能共享资源和空间 快速掌握Python写并行程序:https://blog.csdn.net/NNNJ ...
分类:
编程语言 时间:
2021-04-13 12:52:47
阅读次数:
0
import requests from lxml import etree import csv headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ...
分类:
其他好文 时间:
2021-04-12 12:41:35
阅读次数:
0
爬取的数据一般需要提交给数据库,这里就介绍了三个主流数据库的连接(mysql,redis,mongodb),如果你的数据库服务器都放在liunx系统上首先要修改一下配置文件将bind 127.0.0.1修改为bind 0.0.0.0这样才能访问数据库。并且需要查看linux防火墙设置。如果开启要将其 ...
分类:
数据库 时间:
2021-04-10 13:21:40
阅读次数:
0
cv2.imwrite和torchvision.utils.save_image保存的图片颜色不一致 由于cv2读入的颜色类型为BGR,torch保存的类型为RGB,红蓝对调导致颜色误差 数据处理中尽量使用一致的库进行读取和保存 另外cv2保存图像的范围是0255 torch是01 ...
分类:
其他好文 时间:
2021-04-09 13:39:54
阅读次数:
0
1. 本节目标 我们的主要目标是利用代理爬取微信公众号的文章,提取正文、发表日期、公众号等内容,爬取来源是搜狗微信,其链接为 http://weixin.sogou.com/,然后把爬取结果保存到 MySQL 数据库。 2. 准备工作 首先需要准备并正常运行前文中所介绍的代理池。这里需要用的 Pyt ...
分类:
微信 时间:
2021-04-07 11:15:09
阅读次数:
0