码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
使用shell脚本实现加法乘法运算
编写一个shell脚本,实现加法和乘法运算。#!/bin/bash#Function:num1+num2num3*num4sum(){read-p"pleasekeyinfirstnumber:"num1read-p"pleasekeyinsecondnumber:"num2letnum3=${num1}+${num2}echo-e"\033[32m$num1+$num2=$num3\033[0m"}#############cf(){read-p"pleasekeyinfi..
分类:其他好文   时间:2014-05-27 03:28:19    阅读次数:219
hadoop备记
Hadoop 的优势 Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点: 1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。 2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地...
分类:其他好文   时间:2014-05-22 12:26:27    阅读次数:217
如何从Hadoop安全模式中进入正常模式
问题: 在Hadoop中,新建一个目录,报错了,提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory,该如何解决呢?...
分类:其他好文   时间:2014-05-22 11:31:11    阅读次数:304
Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
简介 此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。 Use Case 下一部分描述的的代码示例对此用户用例是可用的。 一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类:其他好文   时间:2014-05-22 10:40:41    阅读次数:255
linux shell 命令
linux shell 命令 什么是Shell? Shell 是连接操作系统内核 与 用户 的接口。 终端是shell的表现形式。 什么是Shell编程? Shell 脚本语言加上linux 命令语句就构成了shell程序。优点在于批量处理、不用用户每次手动输入。 bash是shell程序解释器的一种。   常用命令 pwd:print working directory,打印工...
分类:系统相关   时间:2014-05-22 10:39:17    阅读次数:442
hadoop家族的各个成员
这篇文章不提原理,讲讲hadoop及其周边项目的作用。 hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢? 官方定义:hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,但是不知道怎样分配任务,怎样回收结果,hadoop大概就帮助我们做了...
分类:其他好文   时间:2014-05-22 10:34:39    阅读次数:288
linux-shell脚本命令之awk
[ awk简介: ] awk可以从一个文本中获取部分内容, 或者对这个文本进行排版, 使它按某种格式输出. [ awk工作流程: ] awk会把文件一行内容去到...
分类:系统相关   时间:2014-05-22 08:06:46    阅读次数:395
hadoop学习;datajoin;chain签名;combine()
hadoop有种简化机制来管理job和control的非线性作业之间的依赖,job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。 x.addDeopendingJob(y)意味着x在y完成之前不会启动。 鉴于job对象存储着配置和依赖信息,jobcontrol对象会负责监管作业的执行,通过addjob(),你可以为jobcont...
分类:其他好文   时间:2014-05-22 07:27:41    阅读次数:287
hadoop多文件格式输入
版本:CDH5.0.0 (hdfs:2.3,mapreduce:2.3,yarn:2.3)hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求:现有两份数据:phone:123,good number 124,common number 125,bad numberuser:zhangsan,123 lisi,124 w...
分类:其他好文   时间:2014-05-22 06:23:52    阅读次数:391
[Ubuntu] Autostart nginx, php-fpm and mysql in Ubuntu14.04
[nginx]Step 1Download the shell scriptwget https://raw.github.com/JasonGiedymin/nginx-init-ubuntu/master/nginx -O /etc/init.d/nginxStep 2chmod +x /etc...
分类:数据库   时间:2014-05-20 09:00:18    阅读次数:401
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!