Gin是什么？ Gin是Go语言编写的web框架，具备中间件、崩溃处理、JSON验证、内置渲染等多种功能。 准备工作 本系列演示所有代码都在Github中，感兴趣的同学可以自行查阅，欢迎大家一起完善。 https://github.com/pingyeaa/golang-examples/tree/ ...
分类：
其他好文 时间：
2020-06-02 13:38:14
阅读次数：
56
RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。 一、RocketMQ专业术语 先讲专业术语的含义，后面会画流程图来更好的去理解它们。 Producer 消息生产者，位于用户的进程内 ...
分类：
其他好文 时间：
2020-06-02 11:20:15
阅读次数：
56
一、启动rocketmq参考https://blog.csdn.net/lw5885799/article/details/886460511，启动name server进入bin目录下nohup mqnamesrv -n 你的公网IP:9876 &2，修改配置文件在conf/broker.conf ...
分类：
其他好文 时间：
2020-06-02 09:27:14
阅读次数：
66
位置：middlewares.py文件中 一、爬虫中间件 二、下载中间件 1、位置：引擎和下载器之间 2、作用：批量拦截到整个工程中所有的请求和响应 3、拦截请求： UA伪装：写在process_request方法中 # UA池 user_agent_list = [ "Mozilla/5.0 (W ...
分类：
其他好文 时间：
2020-06-01 13:53:49
阅读次数：
105
Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 简而言之，redis将数据放在内存中，而不是每次都存取数据库，内存比硬盘快若干倍，如此就实现了超快速的访问，也降低了数据库的压力。 官方网站：redis.io 本文安装环境为：CentOS 7 6 ...
分类：
其他好文 时间：
2020-06-01 10:24:13
阅读次数：
130
Reference Resource juejin segmentfault 目录 跨域why 跨域what 跨域how JSONP CORS Websocket Nginx反向代理 Node 中间件代理 跨域方案总结 跨域why 浏览器的同源策略 结论：浏览器的安全机制，不许跨域, 一是针对接口的 ...
分类：
其他好文 时间：
2020-06-01 01:17:20
阅读次数：
183
一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统，可以 ...
分类：
Web程序 时间：
2020-05-31 22:07:53
阅读次数：
125
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0：表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大（因为当 server 宕机时，数据将会丢失）。 Ø 1：表示 produce ...
分类：
其他好文 时间：
2020-05-31 21:27:40
阅读次数：
48
Django之中间件 中间件的概念 中间件顾名思义，是介于request与response处理之间的一道处理过程，相对比较轻量级，并且在全局上改变django的输入与输出。因为改变的是全局，所以需要谨慎实用，用不好会影响到性能。 我们来重新梳理一下流程： 客户端给服务器发送请求, wsgiref模块 ...
分类：
其他好文 时间：
2020-05-31 19:43:05
阅读次数：
42
背景介绍 在安装某些插件的浏览器访问一些WEB站点、或利用扫描器，对一个WEB站点进行扫描时，都会标示出当前站点的业务中间件类型（如IIS、Apache、Nginx等）、服务器类型（Windows、Linux等），知道这些标示都是从哪里来的么？ 实训目标 1、了解Response Headers返回 ...
分类：
其他好文 时间：
2020-05-31 15:44:44
阅读次数：
74
