atitit.提升备份文件复制速度(1) -----分析统计问题and解决方案
1. 现在的情形 1
2. 硬盘信息 大概50mb/s, 50iops 1
3. 统计小的文件比率 2
4. 复制速度估计.. 2
5. 小文件类型比率按照扩展名 2
6. 速度慢的原因:::iops太低的... 4
7. 解决之道::: 4
7.1. 提升到ssd 硬盘. 4
7.2. 清理垃圾 4...
分类：
其他好文 时间：
2014-08-03 23:28:06
阅读次数：
448
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文...
分类：
编程语言 时间：
2014-08-03 17:33:25
阅读次数：
345
一、使用ls -l 以排序方式输出目录信息
1.需求以及知识点覆盖
ls -l 命令根据后面的参数将列出某文件即目录下的基本信息。
如果没有具体的目录或者文件，则列出当前目录下所有的非隐藏文件的信息，包括文件类型，文件权限，硬链接个数，拥有者。拥有者所在组，文件大小，文件更新时间等。
such as ：
若没有指定的文件，则输出所有目录下的文件信息：
所以，本应用要实现的基本功...
分类：
系统相关 时间：
2014-08-01 19:41:22
阅读次数：
504
cysnc+lsync配置安装环境ubuntu12.041）两台机器安装配置：apt-getinstallxinetdcsync2lsyncdcat/etc/xinetd.d/csync2
servicecsync2
{
disable=no
port=30865
socket_type=stream
protocol=tcp
wait=no
user=root
passenv=PATH
server=/usr/sbin/csync2
server_args=-i
}2）no..
分类：
其他好文 时间：
2014-07-30 17:56:34
阅读次数：
1527
使用Activity的openFileOutput()方法保存文件，文件是存放在手机空间上，一般手机的存储空间不是很大，存放些小文件还行，如果要存放像视频这样的大文件，是不可行的。对于像视频这样的大文件，我们可以把它存放在SDCard。 SDCard是干什么的？你可以把它看作是移动硬盘或U盘。
在模拟器中使用SDCard，你需要先创建一张SDCard卡（当然不是真的SDCard，只是镜像文件）。创建SDCard可以在Eclipse创建模拟器时随同创建，也可以使用DOS命令进行创建，如下： 在Dos窗...
分类：
移动开发 时间：
2014-07-29 17:59:32
阅读次数：
298
在Qt中为文件的操作和信息获取提供了许多方便的类，常用的有QDir,QFile,QFileInfo以及QFileDialog，在本文中主要介绍用于获取关于文件信息的QFileInfo类。QFileInfo可以提供文件的名称和位置信息，此外，还有文件的大小，文件的访问权限以及此文件是不是一个符号链接等...
分类：
其他好文 时间：
2014-07-28 21:20:24
阅读次数：
255
以下为个人所知道的，可能不全，甚至有错误，但希望各位大牛帮忙改正
1.开始，客户机要访问网页，首先要把域名解析为ip地址，客户机要发送一个DNS查询包请求包，在数据包到达ISP路由器之前，有可能会做分光\镜像（个人感觉分光主要是对光纤采用分光，而普通的网线应该采用镜像），也有可能在数据包到达ISP的路由器后通过Forward把数据包复制一份给DPI（重定向服务器）。
2.DPI（重定向...
分类：
其他好文 时间：
2014-07-26 02:01:03
阅读次数：
194
linux split 命令 功能说明：切割文件。 语 法：split [--help][--version][-][-b ][-C ][-l ][要切割的文件][输出文件名] 【前缀】 补充说明：split可将文件切成较小的文件，预设每1000行会切成一个小文件。 参 数： -或-l...
分类：
系统相关 时间：
2014-07-26 01:42:36
阅读次数：
293
Minify把CSS和JS压缩和削减(Minify：去掉空格回车符等)，以及把多个CSS，JS文件整合到一个文件里。不要以为你的大带宽没有必要进行这类优化。使用它的理由更重要的是文件合并，而不是压缩，而是文件整合，这样可以减少浏览器端不断发出新的连接请求，就像FTP服务器一样，多个小文件和一个大文件...
分类：
Web程序 时间：
2014-07-25 14:24:41
阅读次数：
351
TFS(TaobaoFileSystem)TFS是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存..
分类：
其他好文 时间：
2014-07-21 22:17:17
阅读次数：
195
