面对千亿量级的小文件，存储系统压力山大所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。随着数字化创新的加速，组织内部的数据呈现出指数级增长的趋势，特别是小文件更是随着业务增长到一个巨大的量级。与大文件的存储不同的是，大量磁盘在小文件存储场景中的
分类：
其他好文 时间：
2019-12-09 16:54:59
阅读次数：
110
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2019-12-09 13:36:49
阅读次数：
107
目录管理命令ls：列出指定目录下的内容格式：ls[OPTION]...[FILE]... -a：显示所有文件包括隐藏文件 -A：显示除.和..之外的所有文件 -l，--long：显示文件的详细属性信息 -h：对文件大小进行单位换算，可能影响精度 -d：查看目录本身而非其内部的文件 -r：逆序显示文件 -R：递归显示文件示例：ls-lah/--详细显示/目录下的所有文件（
分类：
系统相关 时间：
2019-12-08 23:43:17
阅读次数：
183
split分割（拆分）文件 需求：指定文件大小拆分文件 # ll -h test/ |grep vmcore -rw-r--r-- 1 root root 12G 12月 7 00:20 vmcore 工具：split 操作过程： # split -b 900M vmcore # ll -h 总用量 ...
分类：
其他好文 时间：
2019-12-07 14:16:04
阅读次数：
106
Redis持久化redis提供了两种持久化的方法来将数据以二进制的方式存储到硬盘，一种为在某一时刻生成快照的RDB持久化，另一种为将写入命令追加到aof的持久化文件的持久化RDB在Redis运行时，RDB程序将当前内存中的数据库快照保存到磁盘文件中，在Redis重启动时，RDB程序可以通过载入RDB文件来还原数据库的状态。RDB文件非常适合备份以及用于灾难恢复rdb持久化的过程Redis会fork
分类：
其他好文 时间：
2019-12-06 18:52:52
阅读次数：
113
网页有很多小图标，会使网页加载速度变慢，使用精灵图要使用background-position属性确定图标位置，不方便 使用url-loader:当文件大小小于某个指定size的时候，会转成DataURL形式，也就是base64，将小图片打包到js或者css文件中 在webpack.config.j ...
分类：
Web程序 时间：
2019-12-06 13:23:18
阅读次数：
128
背景： 运行环境：node v11.2.0 ；webpack 4.27.1 性能检测工具：webpack-bundle-analyzer 优化前视图： stat: 12.06M (打包之前输入的文件大小) parsed: 5.51M（打包之后输出的文件大小） gzipped: 1.68M（开启gzi ...
分类：
Web程序 时间：
2019-12-05 18:29:54
阅读次数：
156
第1章 文件详细信息 1.1 文件属性详解 第2章 inode和block 2.1 inode索引接点 2.2 block 2.3 inode与block特点详解 1、创建一个文件 要占用一个inode和至少一个block2、文件大小 占用一个block 剩余空间不能使用 2.4 显示文件内容的过程 ...
分类：
其他好文 时间：
2019-12-04 13:27:23
阅读次数：
113
[出处] https://blog.csdn.net/shawnhu007/article/details/50971084 [思考] 服务器项目运行几月后，日志文件大小达到G级别，导致查看过慢，占用磁盘空间，无法删除 [行动/反馈] 上网查看相同类型解决方法，引用上方连接博主的思路，先在这里感谢博 ...
分类：
其他好文 时间：
2019-12-03 20:12:47
阅读次数：
244
查找大文件 搜索当前目录下，超过800M大小的文件 find . -type f -size +800M 需要显示更多文件信息 find . -type f -size +800M -print0 | xargs -0 ls 显示文件具体大小 find . -type f -size +800M - ...
分类：
系统相关 时间：
2019-12-03 19:47:03
阅读次数：
110
