因为需要统计hbase中某个特定列不为空的行数,我寻思有没有支持直接用SQL查询的,查找了下,发现有两个可以支持:一个是apache
phoenix,一个是Cloudera的Impala。如果用Impala,需要使用Cloudera的hadoop发行版。
分类:
数据库 时间:
2014-05-26 22:02:35
阅读次数:
322
最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令:(hadoop
fs -help列出全部)1,hadoop fs –fs [local | ]:声...
分类:
其他好文 时间:
2014-05-26 20:44:49
阅读次数:
308
hadoop环境的部署配置很费时间,有时候开发人员也不怎么关注。如何快速部署一个hadoop环境呢,我用shell脚本编写了一个小程序,可以完成这个功能。
分类:
其他好文 时间:
2014-05-26 20:42:07
阅读次数:
436
ShellLinux Shell脚本教程:30分钟玩转Shell脚本编程Bash
Shell字符串操作小结vivim使用vi、vim删除以及其他命令Vim静态模板文件打造自己的vim界面命令linux中grep命令的用法linux之sort用法gawkgawk手册Common
threads: Aw...
分类:
系统相关 时间:
2014-05-26 20:38:26
阅读次数:
332
分布式框架:
Zookeeper与paxos算法一、zookeeper是什么官方说辞:Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象,我们...
分类:
其他好文 时间:
2014-05-26 16:37:39
阅读次数:
300
跟系统任务相关的几个命令:fg、bg、jobs、&、ctrl+z1. &
最经常被用到这个用在一个命令的最后,可以把这个命令放到后台执行2. ctrl + z可以将一个正在前台执行的命令放到后台,并且暂停3.
jobs查看当前有多少在后台运行的命令4. fg将后台中的命令调至前台继续运行如果后台中有...
分类:
其他好文 时间:
2014-05-26 16:33:20
阅读次数:
263
chcp65001就是换成UTF-8代码页chcp936可以换回默认的GBKchcp437是美国英语
在shell命令终端中,Ctrl+n相当于方向向下的方向键,Ctrl+p相当于方向向上的方向键。在命令终端中通过它们或者方向键可以实现对历史命令的快速查找。这也是快速输入命令的技巧。在命令终端中可以通过Ctrl+r
实现快速检索使用过的历史命令。Ctrl+r中r是retrieve中r。Ctrl+a:...
分类:
系统相关 时间:
2014-05-26 15:13:36
阅读次数:
345
转自:http://www.linuxidc.com/Linux/2011-09/42929.htm在Linux下使用shell的时候,为方便起见,偶尔会用到一下数组。数组的申明方式是:array=(element1element2element3....elementN)也就是直接用圆括号包数组元...
分类:
系统相关 时间:
2014-05-26 15:13:14
阅读次数:
343
最近阅读了>,发现这本书比之前的第一版好,很多地方讲解很详细.下面就翻译下谈下这个文件。首先,启动shell的时候,mongorc.js文件会被加载自动运行,如果某些脚本会频繁加载,则把它添加在这个文件里面是个好办法。若想在启动shell的时候,显示一句欢迎语,则在文件中添加脚本即可.1
var.....
分类:
Web程序 时间:
2014-05-26 14:19:21
阅读次数:
373