〇、前言 之前单机部署了squid代理服务器，现在实现一下高可用。 还有自定义squid的error页面 准备：两台centos7（1C2GB） ? 三个可用IP，一主一备一虚拟IP（VIP） 一、安装squid(两台) yum install squid -y # 具体配置略 二、安装keepal ...
分类：
其他好文 时间：
2021-01-26 12:39:30
阅读次数：
0
1 Scrapy 爬虫模拟登陆策略 前面学习了爬虫的很多知识，都是分析 HTML、json 数据，有很多的网站为了反爬虫，除了需要高可用代理 IP 地址池外，还需要登录，登录的时候不仅仅需要输入账户名和密码，而且有可能验证码，下面就介绍 Scrapy 爬虫模拟登陆的几种策略。 1.1 策略一：直接P ...
分类：
其他好文 时间：
2018-09-11 17:07:55
阅读次数：
253
背景： 初来乍到的pythoner，刚开始的时候觉得所有的网站无非就是分析HTML、json数据，但是忽略了很多的一个问题，有很多的网站为了反爬虫，除了需要高可用代理IP地址池外，还需要登录。例如知乎，很多信息都是需要登录以后才能爬取，但是频繁登录后就会出现验证码（有些网站直接就让你输入验证码），这 ...
分类：
编程语言 时间：
2018-01-05 15:11:33
阅读次数：
219
罗列了大型网站架构涉及到的概念，附上了简单说明 前言 本文是对《大型网站架构设计》(李智慧 著)一书的梳理，类似文字版的“思维导图” 全文主要围绕“性能，可用性，伸缩性，扩展性，安全”这五个要素 性能，可用性，伸缩性这几个要素基本都涉及到应用服务器，缓存服务器，存储服务器这几个方面 概述 三个纬度： ...
分类：
Web程序 时间：
2017-01-22 09:54:37
阅读次数：
260
1、磁盘管理 LVM2、网络管理 Iptables3、服务器 apache4、集群 LB-负载均衡 HA-高可用5、代理服务器6、网络监控 cati nagios7、数据库服务器
分类：
系统相关 时间：
2015-11-22 20:10:13
阅读次数：
167
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站..
分类：
Web程序 时间：
2014-05-07 15:27:09
阅读次数：
488
