码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
linux中yum命令的解析
yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软体包,无须繁琐地一次次下载、安装。yu...
分类:系统相关   时间:2014-05-12 05:10:03    阅读次数:509
MongoDB 常用故障排查工具
1.profileprofiling levels: 0,关闭profile;1,只抓取slow查询;2,抓取所有数据。启动profile并且设置Profile级别:可以通过mongo shell启动,也可以通过驱动中的profile命令启动,启动后记录会被保存在system.profile col...
分类:数据库   时间:2014-05-12 02:09:33    阅读次数:431
Android adb shell启动应用程序的方法
在Android中,除了从界面上启动程序之外,还可以从命令行启动程序,使用的是命令行工具am.usage: am [subcommand] [options] start an Activity: am start [-D] -D: enable debugging send a broadcast...
分类:移动开发   时间:2014-05-12 01:45:49    阅读次数:373
Hadoop-2.2.0中文文档—— Web应用代理
Web应用代理是YARN的一部分. 默认地,它会作为 Resource Manager(RM)的一部分来运行, 但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。  在YARN中,Application Master(AM) 有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。 RM 作为一个可信的用户在运行,访问那个web地址的用户会认...
分类:Web程序   时间:2014-05-11 20:27:52    阅读次数:323
LINUX的bash的一些特性
1.bash的特性在LINUX进行SHELL编程是很常见的一项任务,熟悉BASH的特性,是十分必要的。昨天花了一天时间,对BASH的特性进行了学习总结,发现过去的自己,对LINUX的BASH特性认识的很少,收获很多。2.BASH支持命令行编辑一直以来,和LINUX的COMMANDLINE打交道,只知道clear清屏..
分类:系统相关   时间:2014-05-11 19:13:00    阅读次数:460
MapReduce入门实例
Hadoop集群(第9期)_MapReduce初级案例1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数.....
分类:其他好文   时间:2014-05-11 16:02:24    阅读次数:538
python 实现Hadoop的partitioner和二次排序
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程 工作流程 :  InputFile --> mappers --> [Partitioner] --> reducers --> outputFiles 理解 :  1 输入文件,可以是指定远程文件系统内的文件夹下的 * 2 通过集群自己分解到各个PC...
分类:编程语言   时间:2014-05-11 14:46:35    阅读次数:519
Hadoop-2.2.0中文文档—— MapReduce 下一代 -- 公平调度器
目的 此文档描述了 FairScheduler, Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。 简介 公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。  Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:其他好文   时间:2014-05-11 13:05:57    阅读次数:393
大数据Lambda架构
1 Lambda架构介绍 Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。 query = function(alldata) 1.1 批处理层 批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类:其他好文   时间:2014-05-11 07:29:44    阅读次数:419
Linux rmdir 命令实现(特别版)
本文地址:http://blog.csdn.net/a_ran/article/details/25250583 在学习linux系统编程的时候,实现了rmdir命令的特别版本。 因为rmdir只能删除空文件夹,而我实现的功能相当于 rm -rf path... 实现的功能:   递归删除指定文件夹的所有文件 程序说明: 1. my_rmdir(): 即为递归删除动作的自定义函...
分类:系统相关   时间:2014-05-11 01:56:33    阅读次数:538
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!