1.首先是jps,看看java进程是否都在
2.查看hdfs和yarn的web地址,看看能否出现
3.hdfs dfs -ls / ,看看目录是否列的出来
4../hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 5 10 跑一个mr例子试试
这样就差不多了...
分类：
其他好文 时间：
2015-01-04 11:23:40
阅读次数：
139
自从 Hadoop 问世以来，MapReduce 在很长时间内都是排序基准测试的纪录保持者，但这一垄断在最近被基于内存计算的 Spark 打破了。在今年Databricks与AWS一起完成的一个Daytona Gray类别的Sort Benchmark中，Spark 完胜 Hadoop MapReduce：“1/10计算资源，1/3耗时”。这是个很有意思的对比实验，因此笔者也在一个小规模集群上做了一个微缩版的类似试验。...
分类：
其他好文 时间：
2015-01-03 22:30:20
阅读次数：
286
前言 hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。 hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，...
分类：
其他好文 时间：
2015-01-03 13:11:26
阅读次数：
310
2015年其实才真正算的上是我的大数据元年，我需要在这一年中为自己的职业发展打好地基，所以需要做到但不限于：1、熟练使用mr,yarn,spark(spark sql,spark streaming,ml....),hive,mahout,hbase进行开发，并熟悉调优，及其中的执行原理。2、阅读f...
分类：
其他好文 时间：
2014-12-31 07:35:26
阅读次数：
219
一、概述Ha,已经有两个月没有更新blog了。由于近排公司需要引入Spark相关技术，我也是作为技术攻关人员之一，在这段时间使用Spark遇到了挺多问题，跌的坑也比较多，这篇blog主要总结一下这段时间使用Spark遇到的一些问题。二、遇到的"坑"和爬坑思路1、SparkSqlonyarn-client模..
分类：
其他好文 时间：
2014-12-31 06:34:20
阅读次数：
1157
堡垒机的实施过程中，因为做了双机，所以要对两台堡垒机进行数据库的主从同步和HA配置。在部署完mysql主从同步以后，发现同步会有中断的现象。中断表现为Slave_IO_Running:YesSlave_SQL_Running:NoReplicate_Do_DB:Replicate_Ignore_DB:Replicate_Do_Table:Replicate_Ignore_Ta..
分类：
数据库 时间：
2014-12-29 18:41:56
阅读次数：
238
堡垒机的实施过程中，因为做了双机，所以要对两台堡垒机进行数据库的主从同步和HA配置。在部署完mysql主从同步以后，发现同步会有中断的现象。中断表现为Slave_IO_Running:YesSlave_SQL_Running:NoReplicate_Do_DB:Replicate_Ignore_DB:Replicate_Do_Table:Replicate_Ignore_Ta..
分类：
数据库 时间：
2014-12-29 18:40:56
阅读次数：
230
1、下载并编译spark源码下载sparkhttp://spark.apache.org/downloads.html我下载的是1.2.0版本解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持tarxzf~/source/spark-1..
分类：
其他好文 时间：
2014-12-29 18:36:06
阅读次数：
5133
本文hadoop版本为最新版本2.6。Configuration做为Hadoop的一个基础功能承担着重要的责任，为Yarn、HSFS、MapReduce、NFS、调度器等提供参数的配置、配置文件的分布式传输(实现了Writable接口)等重要功能。 Hadoop的加载配置文件的功能没有采用Ja...
分类：
其他好文 时间：
2014-12-28 15:33:26
阅读次数：
134
1.[译]下一代的HadoopMapreduce–如何编写YARN应用程序http://www.rigongyizu.com/hadoop-mapreduce-next-generation-writing-yarn-applications/
分类：
其他好文 时间：
2014-12-25 18:42:21
阅读次数：
117
