HDFS系统架构 HDFS以流式数据访问（一次写入，多次读取）模式来存储超大文件，运行于商用硬件集群上。超大文件是指GB,TB,PB的文件。目前已经有存储到PB级别的Hadoop集群了。 计算机字节关系 Hadoop1.x HDFS官方架构图 HDFS中的概念 针对上图来分析HDFS中的各个概念。 ... ...
分类：
其他好文 时间：
2016-04-27 18:53:22
阅读次数：
242
文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。这些文件的格式可以是任意的：我们可以使用基于行的日志文件， 也可以使用二进制格式，多行输入记录或者其它一些格式。这些文件一般会很大，达到数十GB，甚至更大。那么 MapReduce 是如何读取这些数据的呢？下面我们来学习 InputFormat 接口
1、InputFormat接口
In...
分类：
其他好文 时间：
2016-04-26 21:43:51
阅读次数：
178
文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。这些文件的格式可以是任意的：我们可以使用基于行的日志文件， 也可以使用二进制格式，多行输入记录或者其它一些格式。这些文件一般会很大，达到数十GB，甚至更大。那么 MapReduce 是如何读取这些数据 ...
分类：
其他好文 时间：
2016-04-22 22:24:11
阅读次数：
291
文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。这些文件的格式可以是任意的：我们可以使用基于行的日志文件， 也可以使用二进制格式，多行输入记录或者其它一些格式。这些文件一般会很大，达到数十GB，甚至更大。那么 MapReduce 是如何读取这些数据 ...
分类：
其他好文 时间：
2016-04-22 22:17:31
阅读次数：
186
机器组成： 有硬件系统和软件系统组成 硬件系统： 电源 主板（声卡 显卡 网卡) CPU 内存 硬盘 调制解调器 光驱 软件系统： 当前流行 Windows Linux Unix 容量单位：Bit Byte KB M GB TB bit ： 位 是计算机中能识别的最小单位 byte : 字节 是计算 ...
分类：
其他好文 时间：
2016-04-22 00:56:56
阅读次数：
110
在进行关键词搜索(Keyword Search)时，要留意编码的问题，因为这牵涉到搜索结果，会影响到取证分析，不可不慎。 什么是character set？亦即所谓的"字符集"，如Big5及GB，分别是台湾常用的大五码及大陆常用的汉字字符集，其它还有日本的JIS及万国码UTF8等等。而code pa ...
分类：
其他好文 时间：
2016-04-21 18:02:03
阅读次数：
150
随着项目的运行，Tomcat的日志文件catalina.out的大小日益增大，现在都有好几个GB了。如果我们不做任何处理，catalina.out的文件大小将会持续增加，直到把我们的系统硬盘空间给撑爆不可。当Tomcat的日志文件catalina.out的大小大于2GB时，Tomcat程序崩溃时将有可能会启动失败并..
分类：
其他好文 时间：
2016-04-20 18:22:39
阅读次数：
216
free，显示内存状态。1. 命令格式：free [选项] 2. 常用选项："free -b" 以 Byte 为单位显示内存使用情况。
"free -k" 以 KB 为单位显示内存使用情况。
"free -m" 以 MB 为单位显示内存使用情况。
"free -g" 以 GB 为单位显示内存使用情况。
"free -h" 人性化显示，自动选取合适的单位。(有的系统不支持此选项)...
分类：
系统相关 时间：
2016-04-19 20:07:36
阅读次数：
216
Our pipe standards is complete， such as GB/T8163-2008， GB/T8162-2008， GB3087-2008， GB5310-2009， GB6479-2013， GB/T17396-2009，GB/T9711-2001/ API Spec 5L ...
分类：
其他好文 时间：
2016-04-19 12:10:25
阅读次数：
156
free命令可以用来查看系统内存使用情况。我一般习惯-m参数以MB的方式查看 其他参数 -b 以Byte为单位显示内存使用情况。 -k 以KB为单位显示内存使用情况。 -m 以MB为单位显示内存使用情况。 -g 以GB为单位显示内存使用情况。 -o 不显示缓冲区调节列。 -s<间隔秒数> 持续观察内 ...
分类：
其他好文 时间：
2016-04-18 15:39:09
阅读次数：
151
