一、背景 目前百度爬虫爬取业务总是按照自己的性能进行抓取客户数据，从来不考虑客户端的网络承受能力，导致客户端网络带宽超出预算范围，因此在客户端方面针对百度的无限制抓取采取相应的策略。 二、解决方案： 1、单独用一个公网IP承载百度抓取业务。例：123.103.77.13 2、在交换机上针对IP：12 ...
分类：
其他好文 时间：
2021-06-02 18:33:16
阅读次数：
0
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
const axios=require('axios') const fs = require('fs-extra'); const https=require('https') const path=require('path') function resolve (dir) { return p ...
分类：
Web程序 时间：
2021-05-24 17:11:19
阅读次数：
0
在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流 缓存：缓存的目的是提升系统访问速度和增大系统处理容量 降级：降级是当服务器压力剧增的情况下，根据当前业务情况及流量对一些服务和页面有策略的降级，以此释放服务器资源以保证核心任务的正常运行 限流：限流的目的是通过对并发访问/请求进行限速，或者 ...
分类：
其他好文 时间：
2021-05-24 08:39:02
阅读次数：
0
rsync+notify实时同步 简介 rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。 随着应用系统规模的不断扩大，对数据的 ...
分类：
其他好文 时间：
2021-05-24 06:25:50
阅读次数：
0
rsync+inotify rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。随着应用系统规模的不断扩大，对数据的安全性和可靠性 ...
分类：
其他好文 时间：
2021-05-24 05:43:34
阅读次数：
0
1. rsync简介 rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。 2. rsync特性 rsync支持很多特性： 可以镜像保存整个目录树和文件系统 可以很容易做到保持原来文件的权限、时间 ...
分类：
其他好文 时间：
2021-05-24 05:06:39
阅读次数：
0
rsync概述 rsync是linux系统下的数据镜像备份工具，使用快速增量备份工具remote sync可以远程同步，可以在不同主机之间进行同步，可以实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式的备份或异地备份等应用。同时rsync支持本 ...
分类：
其他好文 时间：
2021-05-24 05:01:58
阅读次数：
0
rsync本地备份 制作异地镜像站点 目的:为异地备份做好准备工作 rsync原理 rsync远程传数据可以简单总结成三步 1、先验证用户身份 2、检查源路径到底需要哪些文件 3、传输 rsync总结 1、耗费cpu资源 2、源路径下如果是频繁改动的，rsync不适合，比如数据库文件 3、不适合同步 ...
分类：
其他好文 时间：
2021-04-21 12:23:09
阅读次数：
0
1. 安装需要的软件 ~]# yum install -y vim net-tools sysstat createrepo mkisofs rsync syslinux 2. 创建目录及文件拷贝 创建本地yum源 ~]# mount /dev/sr0 /mnt #挂载镜像或者U盘，如果是U盘就是/ ...
分类：
其他好文 时间：
2021-04-06 14:20:16
阅读次数：
0
