常用管理命令Hadoop管理员的常用命令。启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.shbalancer运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。...
分类：
其他好文 时间：
2014-07-16 23:06:07
阅读次数：
249
既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于Linux 的shell 对文件的操作，只是在HDFS中，hadoop fs是主命令，其他像ls,mv,cp都是...
分类：
其他好文 时间：
2014-07-16 23:04:42
阅读次数：
372
#!/bin/bashcounter=0#变量files遍历一遍当前文件夹for files in *do#判断files是否为文件，如果是，counter变量值加1，再赋值给自己。 if [-f"$files"] then counter=`expr $counter + 1` fido...
分类：
其他好文 时间：
2014-07-16 23:04:28
阅读次数：
167
1、Shell$ExitCodeException
现象：运行hadoop job时出现如下异常：
14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED
Exception from container-launch: org.apache....
分类：
其他好文 时间：
2014-07-11 00:24:58
阅读次数：
355
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。...
分类：
数据库 时间：
2014-07-10 21:14:38
阅读次数：
737
【版权声明：转载请保留出处：blog.csdn.net/gentleliu。Mail：shallnew at 163 dot com】
在大一些的项目里面，所有源代码不会只放在同一个目录，一般各个功能模块的源代码都是分开的，各自放在各自目录下，并且头文件和.c源文件也会有各自的目录，这样便于项目代码的维护。这样我们可以在每个功能模块目录下都写一个Makefile，各自Makefile处理各自...
分类：
其他好文 时间：
2014-07-10 20:26:27
阅读次数：
196
http://www.cnblogs.com/twinsclover/archive/2012/04/26/2471704.html用python的BeautifulSoup分析htmlhttp://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.htmlBeautifulSoup中文文档1)搜索tag：find(tagname)#直接搜索名为tagname的tag如：find(‘head‘)find..
分类：
编程语言 时间：
2014-07-10 19:12:38
阅读次数：
265
$()、``用来作命令替换${}用来作变量替换（以下内容来自shell十三问）(1).变量的界定$A=B
$echo$AB该命令执行时，将AB整体看作一个变量，而不是变量$A与字母B的连接。$A=B
$echo${A}B该命令执行后将输出：BB(2).特殊功能，对于字符串的处理有很大的帮助。首先，定义变量file=/d..
分类：
其他好文 时间：
2014-07-10 19:07:12
阅读次数：
180
Shell编程学习之二一、bash的条件测试测试方法或者说测试书写：testEXPR[EXPR][[EXPR]]例如：测试变量User_Name的之是否为roottest$User_Name="root"[$User_Name=="root"][[$User_Name=="root"]根据比较时操作数的类型，测试类型分为：测试类型运算符运算符所代表的意义示例整..
分类：
系统相关 时间：
2014-07-10 18:36:31
阅读次数：
303
bash的配置文件分为两类全局配置/etc/profile/etc/profile.d/*.sh/etc/bashrc个人配置~/.bash_profile~/.bashrcprofile类的配置：设定环境变量；运行命令或脚本bashrc类的配置：设定本地变量；定义命令别名登录式shell如何读取配置文件(通过本地命令行或远程终端登录；su-usern..
分类：
其他好文 时间：
2014-07-10 17:59:21
阅读次数：
243
