接触 Bash shell
有一段时间了,其中awk命令用的很多,不过一直觉得有些细节记不清楚,每次都要查一下。一般这种时候我喜欢把知识按块分开,梳理成这种有条理的块状结构更适合我的大脑记忆。根据实际工作中常用的可以分以下几块:1,awk
文本解析原理:也就是按行处理文本。其速度十分喜人。2,awk...
分类:
其他好文 时间:
2014-05-15 16:06:16
阅读次数:
255
1:原理图 A:NN1、NN2(或者更多个NN节点)只有一个是Active状态,通过自带ZKFailoverController组件(zookeeper客户端)和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B:Active NN 的EditLog 写入共享的JournalNode集群中,Standby NN通过JournalNode集群获取Editlog,并在本地运行来保持...
分类:
其他好文 时间:
2014-05-15 14:46:42
阅读次数:
414
创建表:
hive> CREATE TABLE pokes (foo INT, bar STRING);
Creates a table called pokes with two columns, the first being an integer and the other a string
创建一个新表,结构与其他一样
hive> create table n...
分类:
其他好文 时间:
2014-05-15 07:07:58
阅读次数:
303
最近安装好了MySQL之后,在启动MySQL服务时无法正常启动MySQL。提示没有更新/var/lib/mfailedZDB.pid并退出。该MySQL与Oracle位于同一主机。有些内核参数进行过调整应该也是使用与MySQL。下面是该问题的具体描述。1、故障现象SZDB:/usr/src/mysql_src # /etc/init.d/mysql startStarting MySQL...Th...
分类:
数据库 时间:
2014-05-15 05:41:43
阅读次数:
534
简介
Encrypted Shuffle capability (加密洗牌功能?)允许用HTTPS 和 可选的客户端验证 (也称作双向的 HTTPS, 或有客户端证书的 HTTPS) 去加密 MapReduce shuffle.它包括:
在HTTP 和 HTTPS 之间绑定 shuffle 的一个 Hadoop 配置用来指定 keystore 和 truststore 属性的Hado...
分类:
其他好文 时间:
2014-05-15 04:59:35
阅读次数:
301
一、 创建表
在官方的wiki里,example是这样的:
Sql代码
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITION...
分类:
数据库 时间:
2014-05-14 14:50:27
阅读次数:
463
MapTask运行通过执行.run方法:
1.生成TaskAttemptContextImpl实例,此实例中的Configuration就是job本身。
2.得到用户定义的Mapper实现类,也就是map函数的类。
3.得到InputFormat实现类。
4.得到当前task对应的InputSplit.
5.通过InputFormat,得到对应的RecordReader。
6.生成Re...
分类:
其他好文 时间:
2014-05-14 14:31:59
阅读次数:
381
基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。包括服务器端(Server)和客户端(Client)Server运行环境:Hadoop+HBase+TomcatClient运行环境:
Eclipse+Android2.3Server端介绍:接收客户端请求的Actio...
分类:
移动开发 时间:
2014-05-14 13:18:12
阅读次数:
374
Microsoft发布了他们自己对Apache
Avro通信协议的实现。Avro被描述为“紧凑的二进制数据序列化格式,类似于Thrift或者Protocol
Buffers”,同时还有像Hadoop这样的分布式处理环境所需要的额外功能。 为了让该协议尽可能地快,Microsoft Avro类库会在运...
分类:
其他好文 时间:
2014-05-14 10:59:37
阅读次数:
336