背景 在介绍整个原理和代码之前，我们来交代一下整个过程的背景，我们的系统作为一个下游的DMS系统，需要每天定期读取第三方接口传入数据，由于第三方接口每天传入的数据有上百万条主机厂备件库存数据，之前通过Kafka消息接口进行传输的话效率低、速度慢而且容易出错，所以后面和第三方统一意见采用FTP方式进行 ...
分类：
数据库 时间：
2020-05-04 13:23:58
阅读次数：
82
最近做了一个需求，需要加解密大文件，并返回真实加解密进度，因为大文件，所以必须要使用到分片上传。有时候前台分片之后，后台需要合并。前台分片上传没什么太大的问题，就是根据buffer或者blob去分割文件即可。主要是后台合并会遇到一些问题。后台合并的方法有很多，以Node.js为例，可以使用以下方式： ...
分类：
Web程序 时间：
2020-05-04 13:21:36
阅读次数：
133
打包与压缩是我们在计算机系统日常使用中必备的一个工具，就如我们在使用Windows系统，也需要类似WinRAR的压缩软件来将许多数据、文件打包成一个文件，并压缩其占用空间。那Linux下有没有类似WinRAR一样强大的打包工具呢？那就是大名鼎鼎的tar了。tar可以将多个目录或文件打包成一个大文件，... ...
分类：
其他好文 时间：
2020-05-03 18:14:02
阅读次数：
95
前言 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过repartition(num)的方式来改变分区数， ...
分类：
其他好文 时间：
2020-05-03 12:43:20
阅读次数：
54
title: linux打开文件数 too many open files 解决办法 date: 2020 05 03 08:30:45 tags: linux categories: linux 阿里巴巴Java开发手册中规定： 调大服务器所支持的最大文件句柄数(File Descriptor，简 ...
分类：
系统相关 时间：
2020-05-03 10:55:58
阅读次数：
95
修改web.config文件，添加以下配置： <system.webServer> <security> <requestFiltering> <requestLimits maxAllowedContentLength="2147483648" /> </requestFiltering> </s ...
分类：
Web程序 时间：
2020-05-03 01:18:07
阅读次数：
92
1.磁盘分析工具，检测哪些大文件占内存，SpaceSniffer，2m大小，即插即用 2.电脑没带键盘，急用，ctrl+windows+o，虚拟键盘 3.ctrl+shift+delete，清浏览器缓存 4.Inpaint (31M) 图片去水印工具 5.右键点击开始菜单，选择运行，输入dxdiag ...
分类：
其他好文 时间：
2020-04-30 15:45:09
阅读次数：
64
最近遇见一个需要上传超大大文件的需求，调研了七牛和腾讯云的切片分段上传功能，因此在此整理前端大文件上传相关功能的实现。 在某些业务中，大文件上传是一个比较重要的交互场景，如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大，或者网络条件不好时，上传的时间会比较长（要传输更多的报文 ...
分类：
Web程序 时间：
2020-04-30 15:28:37
阅读次数：
143
文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root = new JSONObject(); this.root.put("f_id", ""); this.root.put("f_name ...
分类：
编程语言 时间：
2020-04-30 11:48:46
阅读次数：
70
ASP.NET上传文件用FileUpLoad就可以，但是对文件夹的操作却不能用FileUpLoad来实现。 下面这个示例便是使用ASP.NET来实现上传文件夹并对文件夹进行压缩以及解压。 ASP.NET页面设计：TextBox和Button按钮。 TextBox中需要自己受到输入文件夹的路径（包含文 ...
