环境及目标：-系统：VMWare / Ubuntu 12.04-Hadoop版本：0.20.2-我的节点配置 (完全分布式集群)Master (job tracker)192.168.221.130h1Slave (task tracker/data node)192.168.221.141h2Sl...
分类：
其他好文 时间：
2015-11-28 20:03:23
阅读次数：
303
Hadoop程序开发的独门绝技在本地，伪分布和全分布模式下调试程序程序输出的完整性检查和回归测试日志和监控性能调优1、开发MapReduce程序[本地模式] 本地模式下的hadoop将所有的运行都放在一个单独的Java虚拟机中完成，并且使用的是本地文件系统（非HDFS）。在本地模式中运行的程序将所....
分类：
其他好文 时间：
2015-11-25 16:56:50
阅读次数：
266
Hadoop的结构组成安装Hadoop及其3种工作模式：单机、伪分布和全分布用于监控Hadoop安装的Web工具1、Hadoop的构造模块（1）NameNode（名字节点）Hadoop在分布式计算和分布式存储中都采用了主/从结构。NameNode位于HDFS的主端，它指导从端的DataNode执行底...
分类：
其他好文 时间：
2015-11-23 19:02:37
阅读次数：
123
官网链接hadoop配置文件主页：http://hadoop.apache.org/docs/r2.5.2/HDFS hapdoop HA全分布配置:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHi...
分类：
其他好文 时间：
2015-11-17 18:49:02
阅读次数：
181
在前面一篇文章中介绍了如果在完全分布式的环境下搭建Hadoop0.20.2，现在就再利用这个环境完成开发。 首先用hadoop这个用户登录linux系统(hadoop用户在前面一篇文章中创建的)，然后下载eclipse的tar.gz包到/home/hadoop/这个目录下，直接解压缩，于是...
分类：
系统相关 时间：
2015-11-03 17:45:36
阅读次数：
205
爱的技术可以应用到实际生活生产，做艺术向往的东西不腻和音乐。 现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目如今正在线上执行，项目名——基于Hadoop的数据分析综合管理平台。 watermark/2/text/aHR0cDovL...
分类：
其他好文 时间：
2015-10-27 17:29:38
阅读次数：
400
在分布式系统中，往往需要一些分布式同步原语来做一些协同工作，上一篇文章介绍了Zookeeper的基本原理，本文介绍下基于Zookeeper的Lock和Queue的实现，主要代码都来自Zookeeper的官方recipe。锁（Lock）完全分布式锁是全局同步的，这意味着在任何时刻没有两个客户端会同时认...
分类：
其他好文 时间：
2015-10-18 18:18:57
阅读次数：
290
Spring 核心 Spring的主要特性仅仅是 依赖注入DI和面向切面编程AOP JavaBean 1996.12 Javav 规范针对Java定义了软件组件模型，是简单的Java对象不仅可以重用，而且可以轻松的构建更复杂的应用。没有提供诸如事务支持、安全、分布式计算等服务。 BJB 1998.3...
分类：
编程语言 时间：
2015-10-11 22:45:19
阅读次数：
334
环境介绍：在这两种装备centos6.4（32位置）的server安装Hadoop-2.5.1分布式集群（2台机器，主要试验用。哈哈）。1．改动主机名和/etc/hosts文件1）改动主机名（非必要）vi /etc/sysconfig/networkHOSTNAME=XXX重新启动后生效。2）/et...
分类：
其他好文 时间：
2015-10-07 18:54:57
阅读次数：
281
一、环境要求：1、 虚拟机安装并设置网络；2、 修改主机地址映射；3、 必备软件：Jdk、Development Tools Development Libraries gcc c++等已安装；4、 修改windows主机C:\Windows\System32\drivers\etc\hosts在h...
分类：
其他好文 时间：
2015-09-21 10:37:34
阅读次数：
201
