linux下采用先分割后合并的策略处理大文件第一步：分割文件 splitsplit 参数：-a, --suffix-length=N 指定输出文件名的后缀，默认为2个-b, --bytes=SIZE 指定输出文件的字节数-C, --line-bytes=SIZE 每一输出档中，单行的最大 byte ...
分类：
系统相关 时间：
2015-05-09 21:45:52
阅读次数：
199
大致分为3个步骤引用Log4net配置Log4net配置目标:1. 启用内部调试2. 按照日期分割日志文件 1小时1个3. 按照日志容量分割文件 10KB 1个4. 按照日志大小, 时间分割文件5. 输出到SQL SERVER(需要先建立表)建立表代码如下:CREATE TABLE [dbo].[L...
分类：
Web程序 时间：
2015-04-15 19:17:36
阅读次数：
607
packagecn.mytext.ref;importjava.io.BufferedInputStream;importjava.io.BufferedOutputStream;importjava.io.File;importjava.io.FileInputStream;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.IOException;importjava.io.PrintStream..
分类：
其他好文 时间：
2015-04-10 07:10:53
阅读次数：
144
在以前的文章ArcGIS按字段属性分割文件 中写到如何通过ArcGIS或FME来按字段属性表中字段来分割文件，甚至有网友还写出了模型文件。今天用了分割工具才恍然大悟，原来ESRI早就做好了这个工具。如果要按属性表字段内容来分割，只需要在分割工具的参数中设置输入要素和分割要素均为同一要素，即我们要操作...
分类：
其他好文 时间：
2015-02-11 10:49:43
阅读次数：
173
在ArcGIS中我们有时需要将一个文件安字段的属性分割成多个文件，网友总结了几乎所有的方法：http://blog.sina.com.cn/s/blog_4e87fb4c0100fcjh.html ，我也来测试一下效果。 方法一：ToolBox工具 利用筛选工具，设置筛选条件，即可导出为多个文件，可...
分类：
其他好文 时间：
2014-12-24 17:56:43
阅读次数：
382
tar是文件打包工具，split是文件分割工具，在邮件中发送附件的时候，可能因为附件大小限制，需要压缩并分割，分几封邮件发送。如果需要备份很多资料的时候，打包后的单个文件可能超出文件系统支持的单个文件大小限制的时候，也需要分割成适合大小的文件包。刚好今天又要备份skype文件夹，所以就用这个实例来说...
分类：
其他好文 时间：
2014-11-07 18:19:06
阅读次数：
154
多线程断点下载其实不是很难，主要就是三个方面：
1、根据文件的大小和下载线程的数量，确定每个下载线程要下载的分割文件的大小；
2、记录每个下载线程已经下载完成的进度；
3、将每个线程下载的分割的文件合并到一个文件中。
那么怎么将远程的一个文件分割成三部分来下载呢？其实在HTTP协议中，有一个Range字段，用于客户端到服务器端的请求，可通过该字段指定下载文件的某一段大小，及其单位，格式为：...
分类：
编程语言 时间：
2014-10-15 20:13:51
阅读次数：
333
在 Linux 里，稍加不注意有可能会产生很大体积的日志文件，哪怕几百M，拖下来分析也很浪费时间，这个时候，如果可以把文件切割成 N 个小文件，拿最后一个文件就可以看到最近的日志了。有一些手段，比如用 shell 把日志按每天生成等等，但是不是这里的讨论范围。利辛县档案局CentOS 里切割大文件的...
分类：
系统相关 时间：
2014-10-11 10:37:05
阅读次数：
315
首先是压缩：
tar -czvp -f skype_backup.tar.gz skype_backup
分割：
split -b 4000k skype_backup.tar.gz skype_backup_20090626.tar.gz. –verbose
如上两句命令合并为一句：
tar -czvp -f – skype_backup |split -b 4000k – skyp...
分类：
系统相关 时间：
2014-09-29 04:14:46
阅读次数：
222
今天在Stack Overflow上看到一个很有趣的问题,
问题的大意是:
需要用一个脚本处理一个文本文件, 但这个文本文件可能很大, 由于处理脚本的问题, 希望每次能够只处理该文本文件的若干行, 就像 xargs 一样, 而且不能使用split来分割文件, 也不允许生成临时文件.
如果允许使用临时文件的话, 那么用bash script并不难实现, 若不能使用临时文件, 那么可以使用...
分类：
系统相关 时间：
2014-09-10 21:11:11
阅读次数：
921
