一：起因
（1）学习IT的人，不论是写前端还是后台；有时候需要对数据进行清洗处理，例如，数据库日志分析。
（2）处理数据的大小由MB 到 GB，在到TB，最后导致处理的每一个文件都超过java jvm初始的heap
（3）对于单个文件比较小的，并行要求不高的数据，我们可以通过更改JVM的初始参数进行解决 —— 但是这并不是根本的解决办法。
（4）根本的解决办法是hadoop分布式系统下的M...
分类：
编程语言 时间：
2014-11-14 15:41:19
阅读次数：
201
题意： 有三种颜色的矩形n个，不同颜色的矩形重叠会生成不同的颜色，总共有R,G,B,RG,RB,GB,RGB 7种颜色，问7种颜色每种颜色的面积。解法： 很容易想到线段树扫描线求矩形面积并，但是如何维护每种颜色的长度着实让我伤透了脑筋。后来看了一位朋友的题解，才幡然醒悟。开始想到了用二进制表示颜色，...
分类：
其他好文 时间：
2014-11-13 23:56:58
阅读次数：
257
http://msdn.microsoft.com/zh-cn/library/ms189334.aspx进程地址空间所有 32 位应用程序都有 4 GB 的进程地址空间（32 位地址最多可以映射 4 GB 的内存）。对于 Microsoft Windows 操作系统，应用程序可以访问 2 GB 的...
原文:c#分页读取GB文本文件应用场景： a.我在做BI开发测试的时候，有可能面对source文件数GB的情况，如果使用一般的文本编辑器，则会卡死，或要等很久才能显示出来。
b.有时候，我们使用ascii(01)或ascii(02)作为行或列的分隔符，这样的临时文件用于导数据到DB,如果文件导入过程...
燃气采暖炉综合性能测试系统一、产品简介HX-101B型燃气采暖热水炉性能综合测试系统，是根据国际上此类产品的先进标准：欧盟协调标准EN483：1999《中央燃气采暖炉额定热输入小于70KW的C型炉》和EN625—1996《集中供热燃气炉额定热输入不超过70kW的技术要求》及我国GB-6932-200...
分类：
其他好文 时间：
2014-11-08 19:28:19
阅读次数：
181
搭建参看：
http://blog.csdn.net/w13770269691/article/details/16883663/
查看集群状态：
[root@master bin]# hdfs dfsadmin -report
Configured Capacity: 36729053184 (34.21 GB)
Present Capacity: 13322559491 (12....
分类：
其他好文 时间：
2014-11-06 21:55:25
阅读次数：
252
du[-ahskm]档案或目录-a列出所有档案与目录容量-h以GB/MB显示-s列出总量，而不列出每个各别目录的占用量-S不包括子目录下的统计-k以Kbytes列出容量-m以MBytes列出容量[root@localhost~]#du-h/etc/passwd4.0K /etc/passwd****************************************[root@localho..
分类：
其他好文 时间：
2014-11-05 17:32:34
阅读次数：
162
http://www.qzz.in/?post=198下面是详细方法：方法1：vi /etc/sysconfig/i18n将内容改为LANG="zh_CN.GB18030" LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN" SUPPORTED="zh_CN.GB...
分类：
其他好文 时间：
2014-11-05 12:13:57
阅读次数：
183
转自本人博客:xge技术博客
http://www.xgezhang.com/char_encodind_vim.html
关于字符编码的问题在做项目的时候经常都会出现，但一直没有很系统的研究过，今天早上系统的看了几篇文章。在此整理分享以下。
三种编码方式的简介：
gb2312（又称为GB 2312-80）编码是一个简体中文字符集的中国国家标准，全称为《信息交换用汉...
分类：
系统相关 时间：
2014-11-04 19:45:27
阅读次数：
322
随着业务快速发展，基于lucene的索引文件zip压缩后也接近了GB量级，而保持索引文件大小为一个可以接受的范围非常有必要，不仅可以提高索引传输、读取速度，还能提高索引cache效率（lucene打开索引文件的时候往往会进行缓存，比如MMapDirectory通过内存映射方式进行缓存）。 ...
分类：
Web程序 时间：
2014-11-02 12:20:23
阅读次数：
388
