Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 一、Scrapy-Redis分布式策略： Master端(核心服务器)：搭建一个Redis数据库，并开启redis-server ...
分类：
其他好文 时间：
2021-05-24 06:20:04
阅读次数：
0
一、使用Apache ab模拟并发压测 1、压测工具介绍 $ ab -n 100 -c 100 http://www.baidu.com/ -n表示发出100个请求，-c模拟100个并发，相当是100个人同时访问。 还可以这样写： $ ab -t 60 -c 100 http://www.baidu ...
分类：
编程语言 时间：
2021-05-24 05:16:43
阅读次数：
0
读写分离负载均衡/集群消息队列Redis分布式缓存：本地缓存 分布式缓存分库分表 解决高并发的方法1.水平扩展：多来几台服务器2.垂直扩展 ：立杆见影,但是有上限3.分布式：就是一台服务器 的事儿分成多台服务器协作完成集群：一台服务器做的事请，现在由多台服务器共同承载,每台服务器都是独立完成的集群— ...
分类：
其他好文 时间：
2021-05-24 05:16:23
阅读次数：
0
1. 单体架构： 未做任何拆分的Java Web程序以及SpringBoot项目都应该归类于单体架构 2. SOA架构： SOA是一种面向服务的架构。其应用程序的不同组件通过网络上的通信协议向其它组件提供服务或消费服务，所以分布式架构也属于soa架构的一种 3. 微服务架构 微服务架构在某种程度上是 ...
分类：
其他好文 时间：
2021-05-24 05:15:49
阅读次数：
0
Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题，这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。 1. 背景 Curve是网易数帆在2020年7月份开源的一个高性能、高可用、高可靠的分布式存储系统，主打高性能、低延迟。 Github代码仓库：https:/ ...
分类：
其他好文 时间：
2021-05-24 04:54:22
阅读次数：
0
Sentinel 流控规则 配置流量控制规则 阈值种类 QPS：每秒钟请求数（request per second） 线程数：每秒钟线程数 流控模式 直接：就是直接触发流控效果 关联：就是关联资源达到了流控阈值，我本身进行流控（订单服务限流，那么我也进行限流） 链路：更加细粒度的（如限制了servi ...
分类：
其他好文 时间：
2021-05-24 03:47:01
阅读次数：
0
Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的优化 ...
分类：
数据库 时间：
2021-05-24 03:08:56
阅读次数：
0
学习计算机技术最好的方式就是看各种经典书籍，这里是不建议把博客之类当成主要学习途径的，博客之类的知识是没有书本那么系统和详细。 有些同学不知道买什么书籍，所以这次，将我自己觉得不错的一些书籍，分享给大家，有需要的可以赶紧囤购一波（当当最近在搞满减活动）。 Java不同阶段学习书籍 步入IT行业 《J ...
分类：
其他好文 时间：
2021-05-24 03:08:26
阅读次数：
0
CAP 2000年Eric Brewer在ACM研讨会上提出的猜想：一致性（Consistency）、可用性（Availability）、分区容错（Partition-tolerance），三者无法在分布式系统中被同时满足，并且最多只能满足其中两个。 2003年MIT的Lynch证明了这三者确实是不 ...
分类：
其他好文 时间：
2021-05-24 03:01:36
阅读次数：
0
什么是Git？ Git是目前世界上最先进的分布式版本控制系统（没有之一）。 Git 与 SVN 区别? **Git 是分布式的，SVN 不是。**这是 Git 和其它非分布式的版本控制系统，例如 SVN，CVS 等，最核心的区别。 **Git 把内容按元数据方式存储，而 SVN 是按文件。**所有的 ...
分类：
其他好文 时间：
2021-05-24 02:08:12
阅读次数：
0
