简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中,我们已经把资源管理功能放入 分布式应用管理框架 的Apache
Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类:
其他好文 时间:
2014-05-14 00:55:11
阅读次数:
294
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top input out...
分类:
其他好文 时间:
2014-05-13 06:53:12
阅读次数:
448
环境说明
1、硬件说明
使用三台PC机,角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、pytho...
分类:
其他好文 时间:
2014-05-13 05:44:31
阅读次数:
345
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/hadoop-1.0.1/to.jar top.Top input output
14/05/12 03:44:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicat...
分类:
其他好文 时间:
2014-05-13 05:38:18
阅读次数:
291
此脚本可以做一个定时的检测,超出设定的值,即往邮箱发送警告脚本用到bc,sendmail,163邮箱,yuminstallbc#!/bin/bash
#SystemMonitoringScript
while[1]
do
#本机需开启postfix或sendmail服务。
#报警邮件地址设置
MAILFROM=root@localhost
MAILTO=your_mail@163.com
#设置..
分类:
系统相关 时间:
2014-05-13 05:05:29
阅读次数:
649
WindowsServer2012R2对Linux的支持变得越来越多了,用SCVMM2012R2部署Linux(如CentOS)显得更有价值,比如支持动态内存,运行效率更高等等。在SCVMM2012R2中部署Linux和Windows有很大差异,你以为"下一步"不停点下去就能搞定么?那是不可能的。=====前置条件========新手通过S..
分类:
系统相关 时间:
2014-05-13 02:22:24
阅读次数:
462
1. mongodb创建数据库和集合
mongodb数据库和集合的创建是隐式的。
意思是说不用单独写create database 语句。
直接使用use关键词即可。
在bin/mongo shell下运行:...
分类:
数据库 时间:
2014-05-13 00:28:12
阅读次数:
445
在我们选择硬件的时候,往往需要考虑应用得到的性能和经费开支。为此,我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面,以Hadoop集群应用为了例子,说明需要考虑的要素。
1. I/O绑定的工作负荷。
Hadoop涉及到的I/O操作,主要包括下列几项:
索引(Indexing)
群化(Grouping)
数据导入和导出(Data importing...
分类:
其他好文 时间:
2014-05-12 23:47:04
阅读次数:
536
把asp程序作成dll很多好处,但是有一点,该dll必须注册才能在asp中调用。如果是自己的服务器那还好,但如果是租用的虚拟服务器,就没办法使用了。
怎样在远程主机上注册我们的dll呢?在服务器端使用Shell!!!
让我们先将自己的dll文件通过ftp或http上传到服务器上,然后作一个asp程序,调用WScript.Shell来执行regsvr32命令:
Set oShell = C...
分类:
其他好文 时间:
2014-05-12 23:45:04
阅读次数:
377
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。
1 ZooKeeper: Distributed Process Coordination
这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
分类:
其他好文 时间:
2014-05-12 22:46:32
阅读次数:
662