码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
Hadoop-2.2.0中文文档—— 从Hadoop 1.x 迁移至 Hadoop 2.x
简介 本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到 Apache Hadoop 2.x 的用户提供了一些信息。 在 Apache Hadoop 2.x 中,我们已经把资源管理功能放入 分布式应用管理框架 的Apache Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类:其他好文   时间:2014-05-14 00:55:11    阅读次数:294
topk记录
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output Deleted hdfs://localhost:9000/user/lk/output lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top  input out...
分类:其他好文   时间:2014-05-13 06:53:12    阅读次数:448
高效搭建Storm完全分布式集群
环境说明 1、硬件说明 使用三台PC机,角色分配如下 2、软件说明 约定所有软件都放在/usr/local/路径下 准备工作 1、安装jdk 2、配置SSH Storm集群安装 安装流程图 1、安装Zookeeper集群 2、安装Storm依赖 zeromq、jzmq、pytho...
分类:其他好文   时间:2014-05-13 05:44:31    阅读次数:345
hadoop记录topk
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/hadoop-1.0.1/to.jar top.Top input output 14/05/12 03:44:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicat...
分类:其他好文   时间:2014-05-13 05:38:18    阅读次数:291
用shell脚本监控linux系统 自动发送邮件
此脚本可以做一个定时的检测,超出设定的值,即往邮箱发送警告脚本用到bc,sendmail,163邮箱,yuminstallbc#!/bin/bash #SystemMonitoringScript while[1] do #本机需开启postfix或sendmail服务。 #报警邮件地址设置 MAILFROM=root@localhost MAILTO=your_mail@163.com #设置..
分类:系统相关   时间:2014-05-13 05:05:29    阅读次数:649
微软私有云分享(R2)6-Linux的自动化部署
WindowsServer2012R2对Linux的支持变得越来越多了,用SCVMM2012R2部署Linux(如CentOS)显得更有价值,比如支持动态内存,运行效率更高等等。在SCVMM2012R2中部署Linux和Windows有很大差异,你以为"下一步"不停点下去就能搞定么?那是不可能的。=====前置条件========新手通过S..
分类:系统相关   时间:2014-05-13 02:22:24    阅读次数:462
mongodb的写入,删除,更新
1. mongodb创建数据库和集合 mongodb数据库和集合的创建是隐式的。 意思是说不用单独写create database 语句。 直接使用use关键词即可。 在bin/mongo shell下运行:...
分类:数据库   时间:2014-05-13 00:28:12    阅读次数:445
Hadoop集群硬件标准配置
在我们选择硬件的时候,往往需要考虑应用得到的性能和经费开支。为此,我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面,以Hadoop集群应用为了例子,说明需要考虑的要素。     1. I/O绑定的工作负荷。       Hadoop涉及到的I/O操作,主要包括下列几项: 索引(Indexing) 群化(Grouping) 数据导入和导出(Data importing...
分类:其他好文   时间:2014-05-12 23:47:04    阅读次数:536
远程注册自己的组件
把asp程序作成dll很多好处,但是有一点,该dll必须注册才能在asp中调用。如果是自己的服务器那还好,但如果是租用的虚拟服务器,就没办法使用了。  怎样在远程主机上注册我们的dll呢?在服务器端使用Shell!!! 让我们先将自己的dll文件通过ftp或http上传到服务器上,然后作一个asp程序,调用WScript.Shell来执行regsvr32命令:  Set oShell = C...
分类:其他好文   时间:2014-05-12 23:45:04    阅读次数:377
学习Hadoop生态系统最值得一读的书籍
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。       1 ZooKeeper: Distributed Process Coordination        这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
分类:其他好文   时间:2014-05-12 22:46:32    阅读次数:662
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!