前言： 都说现在是草根为尊的时代，近年来hadoop及spark技术在国内越来越流行。而且渐渐现成为企业的新宠。在DT时代全面来临之前，能提早接触大数据的技术必然能先人一步。本文作为Hadoop系列的第一篇，将HDFS和MapRed两个技术核心用2个实例简单实现一些，希望能供hadoop入门的朋友....
分类：
其他好文 时间：
2015-08-07 21:51:27
阅读次数：
152
学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法： 要么找多台机器来部署（常常找不到机器） 或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞...
分类：
其他好文 时间：
2015-07-24 13:09:41
阅读次数：
147
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博客边上机实验，...
分类：
Web程序 时间：
2015-07-23 09:29:35
阅读次数：
263
Linux环境：CentOs6.4Hadoop版本：Hadoop-1.1.2master: 192.168.1.241 NameNode JobTracker DataNode TaskTrackerslave:192.168.1.242 DataNode TaskTracker内容：设置DataN...
分类：
其他好文 时间：
2015-07-14 15:25:29
阅读次数：
147
Hadoop入门例程简介一个、有些指令(1)Hadoop新与旧API差异新API倾向于使用虚拟课堂(象类)，而不是接口。由于这更easy扩展。比如，能够无需改动类的实现而在虚类中加入一个方法(即用默认的实现)。在新的API中。mapper和reducer如今都是虚类。新的API 放在org.apac...
分类：
其他好文 时间：
2015-07-12 14:10:02
阅读次数：
102
Hadoop基本流程一个图片太大了，只好分割成为两部分。根据流程图来说一下具体一个任务执行的情况。在分布式环境中客户端创建任务并提交。InputFormat做Map前的预处理，主要负责以下工作：验证输入的格式是否符合JobConfig的输入定义，这个在实现Map和构建Conf的时候就会知道，不定义可...
分类：
其他好文 时间：
2015-04-20 00:24:36
阅读次数：
104
在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用Memcache作为计数器，结合MySQL就...
分类：
其他好文 时间：
2015-04-20 00:15:34
阅读次数：
115
其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实也就是这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群...
分类：
其他好文 时间：
2015-04-20 00:09:12
阅读次数：
150
1.1Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocess..
分类：
Web程序 时间：
2015-04-07 19:58:46
阅读次数：
183
