yum(全称为 Yellow dog Updater,
Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软体包,无须繁琐地一次次下载、安装。yu...
分类:
系统相关 时间:
2014-05-12 05:10:03
阅读次数:
509
1.profileprofiling levels:
0,关闭profile;1,只抓取slow查询;2,抓取所有数据。启动profile并且设置Profile级别:可以通过mongo
shell启动,也可以通过驱动中的profile命令启动,启动后记录会被保存在system.profile col...
分类:
数据库 时间:
2014-05-12 02:09:33
阅读次数:
431
在Android中,除了从界面上启动程序之外,还可以从命令行启动程序,使用的是命令行工具am.usage: am [subcommand] [options]
start an Activity: am start [-D] -D: enable debugging send a broadcast...
分类:
移动开发 时间:
2014-05-12 01:45:49
阅读次数:
373
Web应用代理是YARN的一部分. 默认地,它会作为 Resource Manager(RM)的一部分来运行, 但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。
在YARN中,Application Master(AM) 有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。 RM 作为一个可信的用户在运行,访问那个web地址的用户会认...
分类:
Web程序 时间:
2014-05-11 20:27:52
阅读次数:
323
1.bash的特性在LINUX进行SHELL编程是很常见的一项任务,熟悉BASH的特性,是十分必要的。昨天花了一天时间,对BASH的特性进行了学习总结,发现过去的自己,对LINUX的BASH特性认识的很少,收获很多。2.BASH支持命令行编辑一直以来,和LINUX的COMMANDLINE打交道,只知道clear清屏..
分类:
系统相关 时间:
2014-05-11 19:13:00
阅读次数:
460
Hadoop集群(第9期)_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类:
其他好文 时间:
2014-05-11 16:02:24
阅读次数:
538
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:
其他好文 时间:
2014-05-11 13:05:57
阅读次数:
393
1 Lambda架构介绍
Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类:
其他好文 时间:
2014-05-11 07:29:44
阅读次数:
419
本文地址:http://blog.csdn.net/a_ran/article/details/25250583
在学习linux系统编程的时候,实现了rmdir命令的特别版本。
因为rmdir只能删除空文件夹,而我实现的功能相当于 rm -rf path...
实现的功能:
递归删除指定文件夹的所有文件
程序说明:
1. my_rmdir(): 即为递归删除动作的自定义函...
分类:
系统相关 时间:
2014-05-11 01:56:33
阅读次数:
538