python正则表达式 1、re简介 正则表达式re,是Regular Expression的简称。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 2、在python中使用正则表达式 在python中许多场合(本人是在使用爬虫时)正则表达式都能起到很关键的作用,在使用前,先引用re包 ...
分类:
编程语言 时间:
2021-05-24 06:44:03
阅读次数:
0
Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 一、Scrapy-Redis分布式策略: Master端(核心服务器):搭建一个Redis数据库,并开启redis-server ...
分类:
其他好文 时间:
2021-05-24 06:20:04
阅读次数:
0
一. 安装: 1. 安装py3,使用Homebrew: ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew install python3 2. 安装请求库,Pi ...
分类:
编程语言 时间:
2021-05-24 04:50:49
阅读次数:
0
直接上代码吧 中间件简单使用: # -*- coding: utf-8 -*- # Define here the models for your spider middleware # # See documentation in: # https://docs.scrapy.org/en/lat ...
分类:
其他好文 时间:
2021-05-24 03:01:58
阅读次数:
0
基于Flask的示例 Server端 from flask import Flask,render_template import time app = Flask(__name__) @app.route('/bobo') def index_bobo(): time.sleep(2) retur ...
分类:
其他好文 时间:
2021-05-24 02:55:58
阅读次数:
0
1.服务端渲染技术nuxt 1.1什么是服务器端渲染 服务端渲染又称SSR (Server Side Render)是在服务端完成页面的内容,而不是在客户端通过AJAX获取数据。 服务器端渲染(SSR)的优势主要在于:更好的 SEO,由于搜索引擎爬虫抓取工具可以直接查看完全渲染的页面。 如果你的应用 ...
分类:
其他好文 时间:
2021-05-24 02:40:40
阅读次数:
0
在centos中使用管道进行参数的传输 运行格式 ./c++A | python3 p.py | ./c++B python脚本中使用标准输入和输出 stdin 和 stdout,python脚本参数是传输不到./c++B可执行文件的。 python 脚本中要使用 while True: line= ...
分类:
编程语言 时间:
2021-05-24 01:17:11
阅读次数:
0
一、hashlib模块 1.0.1 hash是什么 hash是一种算法(Python3.版本里使用hashlib模块代替了md5模块和sha模块,主要提供 SHA1、SHA224、SHA256、SHA384、SHA512、MD5 算法),该算法接受传入的内容,经过运算得到一串hash值。 hash值 ...
分类:
系统相关 时间:
2021-05-24 00:51:39
阅读次数:
0
模块的概念 标准模块格式 # !/usr/bin/env python3 # -*- coding: utf-8 -*- 'a test module' __author__ = 'name' 安装第三方模块 pip:是python包管理工具。 安装第三方模块:使用包管理工具 pip pip的安装( ...
分类:
编程语言 时间:
2021-05-24 00:01:39
阅读次数:
0
1 import urllib.request 2 #获取一个get请求 3 response = urllib.request.urlopen("http://www.baidu.com") 打开网页并返回网页内容给response print(response.read().decode('ut ...
分类:
编程语言 时间:
2021-05-23 23:31:18
阅读次数:
0