使用python遍历文件夹下的子文件夹及文件，并统计出文件夹下文件的数量： 1 import os 2 count = 0 3 4 5 # 遍历文件夹 6 def walkFile(file): 7 for root, dirs, files in os.walk(file): 8 # root 表 ...
分类：
编程语言 时间：
2020-03-04 19:28:14
阅读次数：
107
通常情况下长连接我们需要参考两个点，第一个点是时间，第二个点是请求的文件数量；比如用户在一定时间内请求的文件数量达到一定数量就断开，这种可防止那种一直请求服务器上的资源不给后续请求机会的连接；另一种就是用户请求的资源很少，我们对于这种请求应该规定一个时间，不能够也不应该让一个空闲请求一直连接着服务... ...
分类：
其他好文 时间：
2020-02-29 20:26:50
阅读次数：
64
在实际的接口测试中，有时需要根据情况进行文件的上传和下载。在文件数量比较小的时候，我们当然可以直接处理（比如若干个接口都用一个文件）。但是，如果我们上传的文件需要使用不同文件夹里不同的文件，而且数量又比较大的情况下，直接写路径就比较麻烦了。 那么，怎样来处理这样的问题呢？还是需要先整理一下思路。 首 ...
分类：
编程语言 时间：
2020-02-23 11:19:07
阅读次数：
80
1. 移除多余文件 因为linux kernel文件数量过多，会导致系统很慢。 在File->prefenrence->setting->workspace, 右上角有个切换到json文件，编辑如下： { "search.exclude": { "**/.git": true, "**/.svn": ...
分类：
系统相关 时间：
2020-02-09 11:33:49
阅读次数：
678
有时候会遇到这样的需求，比如log日志文件，这个文件很大，甚至上百M，需要把所有的日志拿来做统计，这时候我们如果用单进程来处理，效率会很慢。如果我们想要快速完成这项需求，我们可以利用Linux的一个利器split，先根据这个文件的总大小、总行数，来按照一个比例来分割，在根据分割的文件数量，fork出 ...
分类：
Web程序 时间：
2020-01-05 22:15:06
阅读次数：
105
lsyncd 实时同步搭建指南 https://linux.cn/article-5849-1.html 1. 几大实时同步工具比较 1.1 inotify + rsync 最近一直在寻求生产服务服务器上的同步替代方案，原先使用的是inotify + rsync，但随着文件数量的增大到100W+，目 ...
分类：
其他好文 时间：
2020-01-05 09:36:17
阅读次数：
83
需求： 支持大文件批量上传（20G）和下载，同时需要保证上传期间用户电脑不出现卡死等体验； 内网百兆网络上传速度为12MB/S 服务器内存占用低 支持文件夹上传，文件夹中的文件数量达到1万个以上，且包含层级结构。 支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下 ...
分类：
Web程序 时间：
2020-01-03 19:26:11
阅读次数：
133
业务需要 需要将一个存储的目标文件里的文件全部拷贝到另一个存储里面去，保持文件结构。 目前采用 org.apache.commons.net.ftp包下相关类来达到ftp连接 获取文件目录信息，拷贝文件等功能 由于需要拷贝的存储数据很多，会达到100W+的文件数量，在获取文件目录信息是遇到了问题。在 ...
分类：
编程语言 时间：
2019-12-26 21:17:27
阅读次数：
111
产生背景：sqoop抽取oracle数据到hive表时，只能写入到固定分区（--hive-partition-key #hive分区字段 --hive-partition-value #hive分区值）。于是先把数据抽取到一张增量表，然后从增量表动态写入分区表。 set hive.exec.dyna ...
分类：
数据库 时间：
2019-12-19 23:26:48
阅读次数：
305
一、磁盘配额 1、磁盘配额概念 配置用户对磁盘进行指定大小或者文件数量的使用权限。 1）用户配额和组配额 2）磁盘容量限制和文件个数限制 3）软限制和硬限制 4）宽限时间 如果用户的空间占用数处于软限制和硬限制之间，统会在用户登陆时警告用户磁盘将满，这个时间就是宽限时间，默认是 7 天。如果达到了宽 ...
分类：
其他好文 时间：
2019-12-06 00:11:57
阅读次数：
133
