apache 有个开源库：commons-net，这个开源库中包括了各种基础的网络工具类，我使用了这个开源库中的 FTP 工具。 但碰到一些问题，并不是说是开源库的 bug，可能锅得算在产品头上吧，各种奇怪需求。 问题 当将网络限速成 1KB/S 时，使用 commons-net 开源库中的 FTP ...
分类：
其他好文 时间：
2020-06-17 12:26:37
阅读次数：
55
1.请求源码 curl http://wttr.in/ 天气网站 2.文件下载 -o ：保存文件 -s：禁用进度表 --progress-bar：让进度显示为进度条 -C - ：断点连续下载 --limit-rate 100k：限速 3.获取response头信息 -i：显示头信息 4.请求方式 - ...
分类：
Web程序 时间：
2020-06-04 20:10:38
阅读次数：
91
pyetl是一个纯python开发的ETL框架， 相比sqoop, datax 之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python代码操作，更加符合开发人员习惯 安装 pip3 install pyetl 使用示例 ...
分类：
编程语言 时间：
2020-06-04 10:25:51
阅读次数：
135
网盘推荐 由于百度网盘非会员用户限速，因此有必要找一些免费的不限速云盘来代替百度云盘。 其实，免费的云盘还是有很多的，例如：奶牛快传网盘、坚果云网盘、微云、天翼云盘、和彩云、One Driver、Google Drive。但是，这些云盘的容量都很小或者用起来不方便。 下面我给大家推荐几款比较好用的网 ...
分类：
其他好文 时间：
2020-06-03 18:49:53
阅读次数：
80
问题： 今天遇到一个syslog间歇性缺失的问题，排查了一圈发现是限速导致的。 cat /var/log/message | grep rate-limit 有如下信息： Feb 9 10:22:32 localhost rsyslogd: imuxsock lost 432 messages fr ...
分类：
其他好文 时间：
2020-06-03 13:54:57
阅读次数：
134
概要 实现思路 使用方法 启动队列服务 使用队列服务 概要 在调用第三方 API 的时候, 基本都有访问限速的限制条件. 第三方的 API 有多个的时候, 就不太好控制访问速度, 常常会导致 HTTP 429(Too Many Requests) 然后就会有一段时间的禁止访问. 为了应对这种限速的情 ...
Warning: 请不要跳过任何一个步骤，仔细阅读 1. Aria2 开源、跨平台的命令行下载软件，支持HTTP(S)、(S)FTP、BitTorrent和Metalink下载。 Step 1: 下载Aria2 可以到 https://github.com/aria2/aria2/releases ...
分类：
其他好文 时间：
2020-05-23 13:33:13
阅读次数：
151
beego 限速 路由之前调用 具体实现 func rateLimit(r rateLimiter, ctx context.Context) { var ( limiterCtx limiter.Context ip net.IP err error req = ctx.Request ) if ...
分类：
其他好文 时间：
2020-05-19 10:53:40
阅读次数：
79
背景 最近在重构权限管理系统(PMS)，因此在验证新开发功能的行为是否和旧功能相同时，采用了一种思路， 控制相同的输入，比对输出是否尽可能一致。因为重构选用了微服务的架构，对于数据库这边拆分成了 多个库。因此开发时需要将原先的PMS库的数据迁移到异构的多个数据库中。 迁移方案 迁移的基本思路是写转换 ...
分类：
其他好文 时间：
2020-05-16 00:38:30
阅读次数：
281
1 package com.yhqtv.demo02.InputStream; 2 3 import java.io.FileInputStream; 4 import java.io.FileNotFoundException; 5 import java.io.FileOutputStream; ...
分类：
其他好文 时间：
2020-05-12 20:48:12
阅读次数：
64
