在《mysql插入/更新数据》这篇文章提到，使用LOAD DATA INFILE语句，可以从一个文件直接加载数据到mysql中，但如果文件非常大，可能还需要对文件进行切割，分多次加载，这种情况下，可以使用pt-fifo-split工具将文件分割成多个数据块（chunks），从而控制每次传输到mysq...
分类：
数据库 时间：
2015-01-27 17:44:02
阅读次数：
425
重复数据删除指的是在数据中查找和删除重复内容，而不会影响其保真度或完整性。其目标是通过将文件分割成大小可以改变(32-128KB)的小区块、确定重复的区块，然后为每个区块保留一个副本，从而在更小的空间中存储更多的数据。区块的冗余副本由对单个副本的引用所取代。区块会进..
分类：
其他好文 时间：
2014-12-18 06:56:36
阅读次数：
321
再理解HDFS的存储机制
1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；
2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；
3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNode共同工作；
4. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及...
分类：
其他好文 时间：
2014-12-15 10:34:06
阅读次数：
149
用法：split [选项]... [输入 [前缀]] 将输入内容拆分为固定大小的分片并输出到"前缀aa"、"前缀ab",...； 默认以 1000 行为拆分单位，默认前缀为"x"。如果不指定文件，或 者文件为"-"，则从标准输入读取数据。 长...
分类：
系统相关 时间：
2014-12-10 12:46:30
阅读次数：
334
tar是文件打包工具，split是文件分割工具，在邮件中发送附件的时候，可能因为附件大小限制，需要压缩并分割，分几封邮件发送。如果需要备份很多资料的时候，打包后的单个文件可能超出文件系统支持的单个文件大小限制的时候，也需要分割成适合大小的文件包。刚好今天又要备份skype文件夹，所以就用这个实例来说...
分类：
其他好文 时间：
2014-11-07 18:19:06
阅读次数：
154
多线程断点下载其实不是很难，主要就是三个方面：
1、根据文件的大小和下载线程的数量，确定每个下载线程要下载的分割文件的大小；
2、记录每个下载线程已经下载完成的进度；
3、将每个线程下载的分割的文件合并到一个文件中。
那么怎么将远程的一个文件分割成三部分来下载呢？其实在HTTP协议中，有一个Range字段，用于客户端到服务器端的请求，可通过该字段指定下载文件的某一段大小，及其单位，格式为：...
分类：
编程语言 时间：
2014-10-15 20:13:51
阅读次数：
333
1.一个有10亿条记录的文本文件，已按照关键字排好序存储，设计算法，可以快速的从文件中查找指定关键字的记录。$10亿=10^9~2^30$，每行记录如果是1kB的话，总共是1TB。将文件分割成1000份，每份1G，load进内存作二分查找即可。2. 设计一个爬虫系统。3. 设计一个长连接手机云推送服...
分类：
其他好文 时间：
2014-10-11 17:12:05
阅读次数：
160
-Java培训、Android培训、iOS培训、.Net培训、期待与您交流！ -------计算代码总行数思路：1.判断给出的路径是文件还是文件夹 2.如果是文件，用\n把文件分割成一个数组，计算数组元素个数就可以得出文件总行数 如果是文件夹，获得文件夹的所有内容，包括文件和文件夹，...
分类：
其他好文 时间：
2014-10-09 14:13:13
阅读次数：
235
问题引入 Json是什么就不多说了，本文把Json理解成一种协议。 印象之中，Json貌似是前端的专属，其实不然，服务器端组织数据，依然可以用Json协议。 比如说，某公司有一套测评题目（基于Json协议），这些题目比较珍贵，不想直接放在js中，所以就将题目文件放在服务器端，然后通过一个接口去...
分类：
Web程序 时间：
2014-09-29 19:11:31
阅读次数：
287
