HSF 概述 高速服务框架 HSF (High-speed Service Framework)，是在阿里巴巴内部广泛使用的分布式 RPC 服务框架。 HSF 联通不同的业务系统，解耦系统间的实现依赖。HSF 从分布式应用的层面，统一了服务的发布/调用方式，从而帮助用户可以方便、快速的开发分布式应用 ...
分类：
其他好文 时间：
2020-04-14 21:02:14
阅读次数：
148
一.第一步 创建XssAndSqlHttpServletRequestWrapper包装器，这是实现XSS过滤的关键， 在其内重写了getParameter，getParameterValues，getHeader等方法，对http请求内的参数进行了过滤。 package com.demo.comm ...
分类：
数据库 时间：
2020-04-14 19:05:49
阅读次数：
84
什么是Zuul？ Zuul是Netflix开源的微服务网关。 Zuul可以和Eureka、Ribbon、Hystrix等组件配合使用。 Zuul的核心是一系列的过滤器，可以完成以下功能。 身份认证和安全：识别每个资源的验证请求，并拒绝那些与要求不符的请求。 审查与监控：在边缘位置追踪有意义的数据和统 ...
分类：
编程语言 时间：
2020-04-14 16:42:35
阅读次数：
69
爬虫5 scrapy框架2 全站爬取cnblogs, scarpy请求传参, 提高爬取效率, 下载中间件, 集成selenium, fake-useragent, 去重源码分析, 布隆过滤器, 分布式爬虫, java等语言概念补充, bilibili爬视频参考
1 全站爬取cnblogs # 1 scrapy startproject cnblogs_crawl # 2 scrapy genspider cnblogs www.cnblogs.com 示例： # cnblogs_crawl/cnblogs_crawl/spiders/cnblogs.py ...
分类：
编程语言 时间：
2020-04-13 01:13:46
阅读次数：
117
在Redis的缓存穿透中了解到布隆过滤器，不禁想来了解一番其奇妙之处 1. 布隆过滤器的作用 判断传入数据是否已经存在，由这个基本功能可以泛生出： 防止Redis缓存穿透 海里数据去重 垃圾邮件过滤 2. 什么是布隆过滤器 布隆过滤器（Bloom Filter）是1970年由一个叫布隆的人提出的，它 ...
分类：
其他好文 时间：
2020-04-13 00:18:55
阅读次数：
72
File文件过滤器，过滤出想要的文件： 示例代码： package file; import java.io.File; import java.io.FilenameFilter; /** * @Author YangHe * @Date 2020/4/12 21:45 * 文件过滤器 */ cl ...
分类：
其他好文 时间：
2020-04-12 22:50:07
阅读次数：
79
[TOC] 在开始介绍 scrapy 的去重之前，先想想我们是怎么对 requests 对去重的。 requests 只是下载器，本身并没有提供去重功能。所以我们需要自己去做。 很典型的做法是事先定义一个去重队列，判断抓取的 url 是否在其中，如 此时的集合是保存在内存中的，随着爬虫抓取内容变多， ...
分类：
其他好文 时间：
2020-04-12 18:36:57
阅读次数：
69
拦截器：Interceptor 在AOP（Aspect-Oriented Programming）中用于在某个方法或字段被访问之前，进行拦截然后在之前或之后加入某些操作。比如日志，安全等。一般拦截器方法都是通过动态代理的方式实现。可以通过它来进行权限验证，或者判断用户是否登陆，或者是像12306 判 ...
分类：
编程语言 时间：
2020-04-12 12:39:24
阅读次数：
79
编写filter过滤器有两种方法，一种是使用注解配置，另一种是使用web.xml配置，此处使用web.xml配置来实现过滤器 （1）使用web.xml配置过程 <filter> <filter-name>setCharacterFilter</filter-name> <filter-class>c ...
分类：
编程语言 时间：
2020-04-12 10:18:33
阅读次数：
52
前言 的功能之一就是预处理客户请求,而 阀是对 容器接收到的 请求进行预处理. 过滤器实在 规范中提出来的,因此适用于所有的 容器,而 阀是 转悠的,不能用于 以外的其他 容器. 简介 阀可以加入到3种容器中: 和``. 所有的阀都实现了 ,它有如下几个方法: 其中最重要的是 ,它的官方 描述如下: ...
分类：
编程语言 时间：
2020-04-12 07:46:32
阅读次数：
74
