一、背景 目前百度爬虫爬取业务总是按照自己的性能进行抓取客户数据，从来不考虑客户端的网络承受能力，导致客户端网络带宽超出预算范围，因此在客户端方面针对百度的无限制抓取采取相应的策略。 二、解决方案： 1、单独用一个公网IP承载百度抓取业务。例：123.103.77.13 2、在交换机上针对IP：12 ...
分类：
其他好文 时间：
2021-06-02 18:33:16
阅读次数：
0
在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流 缓存：缓存的目的是提升系统访问速度和增大系统处理容量 降级：降级是当服务器压力剧增的情况下，根据当前业务情况及流量对一些服务和页面有策略的降级，以此释放服务器资源以保证核心任务的正常运行 限流：限流的目的是通过对并发访问/请求进行限速，或者 ...
分类：
其他好文 时间：
2021-05-24 08:39:02
阅读次数：
0
如若oracle 的账号拥有默认的schema，schema 可写可不写 以下情况适合不拥有默认的schema 如果不加schema 会报错 sqoop 报错如下 datax 报错如下 sqoop sqoop import -Dmapred.job.queue.name=default --num- ...
分类：
数据库 时间：
2021-05-24 04:06:46
阅读次数：
0
目前业务中需要进行数据同步， 考虑使用datax数据同步方式替换掉现有的同步方式 业务场景： 即将业务中每天生成的日志表中的数据部分字段同步到自己的库中，进行后台数据的查询 起因： 之前“大神”写的逻辑中使用没三分钟更新一次的策略进行数据同步 ...
分类：
其他好文 时间：
2021-04-26 13:35:43
阅读次数：
0
datax自带的jdbc连接工具mysql-connector-java-5.1.34.jar自带bug，同步json数据时，会将中文转换为乱码，需要替换为较新版本，这里我替换为mysql-connector-java-5.1.49.jar，事情完美解决。 json数据中文乱码问题与useUnico ...
分类：
Web程序 时间：
2021-04-13 12:55:55
阅读次数：
0
import math import random import matplotlib.pyplot as plt import time limitx=300000 limity=300000 threshold=2 data=[] datax=[] datay=[] datanum=20000 ...
分类：
其他好文 时间：
2021-04-09 13:41:22
阅读次数：
0
某些路由器具有所谓的流量控制中具有“惩罚性限速”的功能：（例如）192.168.1.100在120秒内平均速率超过100KB/S，那么把该IP列入惩罚队列，惩罚队列速率是40KB/S. 其实，利用iptables的也可以实现类似的功能。脚本如下： iptables -t mangle -N LMT ...
分类：
其他好文 时间：
2021-02-02 11:00:48
阅读次数：
0
初级小实验 1、PC-SERVER的TELNET流量，标记为precedence 4 要求拥塞时保留带宽的10%，（100%） 执行WRED，当到达25个包时进行丢弃，概率为8分之1 带宽限速，为100KB，正常的转发，超出的丢弃 2、PC-SERVER的http流量，标记为DSCP 40 要求拥塞 ...
分类：
其他好文 时间：
2020-12-14 13:06:09
阅读次数：
3
2万字带你学习Qos原理，还有6个实验案例，建议一定要收藏！一、QoS的原理1前言2QoS模型3QoS基本原理4其他提高QoS的技术二、实验案例1、QOS字节数统计组网配置案例2、QOS数据包统计组网配置案例3、基于全局应用QOSpolicy典型组网配置案例4、基于VLAN应用QOSpolicy典型组网配置案例5、QOS之LR接口限速配置案例6、QOS之WRED典型组网配置案例一、QoS的原理1前
分类：
其他好文 时间：
2020-12-11 12:03:32
阅读次数：
2
一、前言 一般来说，我们是在windows下编写并且调通jmeter脚本，以及使用它来对接口进行基准性能测试。但是由于在公司由于网络的限制，整个公司公用100M或200M的带宽，并且每部PC的上传和下载都会限速到约3M。所以，真正压测需在linux环境下（让运维开通一个无带宽限制环境）运行，得到的性 ...
分类：
系统相关 时间：
2020-09-18 04:10:56
阅读次数：
64
