Linux
shell脚本中shift的用法说明
shift命令用于对参数的移动(左移)。
示例1:依次读取输入的参数并打印参数个数：
run.sh:
#!/bin/bash
while [ $# != 0 ];do
echo "第一个参数为：$1,参数个数为：$#"
shift
done
输入如下命令运行：run.sh a b c d e...
分类：
系统相关 时间：
2014-05-01 22:06:54
阅读次数：
475
一、Hadoop概述
hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce 则构建在分布式文件系
统之上，对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中，MapReduce 底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单...
分类：
其他好文 时间：
2014-05-01 18:34:41
阅读次数：
382
Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中
集中式缓存管理有着许多显著的优势：
防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理，applications在做任务安排时可以查询这个缓存的列表，...
分类：
其他好文 时间：
2014-05-01 17:45:58
阅读次数：
379
Sed 是什么？Sed 是一个脚本型的编译器，是非交互式的，也就是说sed与常见的编译器不同（比如说vim），sed没有交互式的编辑界面以及光标移动或者庞大的快捷键/功能，sed 的使用就是很简单的一个脚本行，相当极客吧？Sed 是最早支持正则表达式的工具之一，并且至今仍然被人们用做文本处理，特别是在其强大的替代命令。本文力求详尽的介绍 sed 的使用，希望你能喜欢！...
分类：
其他好文 时间：
2014-04-30 22:33:38
阅读次数：
360
一、正则表达式的使用
cd /usr/share/dict
1、找出words文件下所有以a开头t结尾的单词
egrep "^a.*t$" words
2、匹配以abcde开头，以at结尾的单词
egrep "\" words
3、以大写字母开头，以t结尾
egrep "^[[:upper:]]t$" words
二、管道的使用
egrep "^a.*t$" words|wc -...
分类：
系统相关 时间：
2014-04-30 22:32:38
阅读次数：
372
javaScript 关于Windows
1 Windows 对象
所有浏览器都支持 window 对象。它表示浏览器窗口。
所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。
全局变量是 window 对象的属性。
全局函数是 window 对象的方法。
window.document.getElementById("header");
2...
分类：
编程语言 时间：
2014-04-30 22:27:39
阅读次数：
499
一、简介
1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。
2、从MapReduce 自身的命名特点可以看出，MapReduce 由两个阶段组成：Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数，即可完成简单的分布式程序的设计。
1）m a p ( ) 函数以key/value 对作为输入，产...
分类：
其他好文 时间：
2014-04-30 22:23:39
阅读次数：
466
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据，其格式如下：
按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类：
其他好文 时间：
2014-04-29 13:22:20
阅读次数：
309
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类：
其他好文 时间：
2014-04-29 13:17:21
阅读次数：
387
