Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
本文主要对如何在Sahara环境上部署Hadoop集群做一个总结，也把自己部署的时候填过的坑总结下，避免其他人在同一个坑掉下。...
分类：
其他好文 时间：
2014-12-11 14:07:57
阅读次数：
377
声明：
本博客欢迎转载，但请保留原作者信息，并请注明出处!
作者：郭德清
团队：华为杭州OpenStack团队
Sahara旨在为用户提供简单部署Hadoop集群的能力，比如通过简单的配置：Hadoop版本、集群结构、节点硬件信息等。在用户提供了这些参数后，Sahara迅速把Hadoop集群部署起来。同时也支持集群的扩容和减容。
...
分类：
其他好文 时间：
2014-12-10 09:21:30
阅读次数：
232
有四台Linux服务器，其中一台为主，其它为从。服务器使用的是CentOS6.5，jdk选择1.6，hadoop选择1.0.4版本。要到实际环境中应用还要根据实际情况做修改。如果是新装好的系统，要先配置好ip，shell脚本如下：#!bin/bashread"inputip:"ipecho‘thedefaulthostnameismaster‘sed-i‘$..
分类：
系统相关 时间：
2014-12-08 07:07:13
阅读次数：
292
Hadoop
Yarn的安装部署于Hadoop类似，以下以CDH4.5为例说明安装步骤。
三台机器，修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME：
172.20.4.142 yarn-namenode
172.20.4.143 yarn-datanode1
172.20.4.147 yarn-d...
分类：
其他好文 时间：
2014-11-24 20:57:36
阅读次数：
298
Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)课程讲师：迪伦课程分类：大数据适合人群：初级课时数量：330课时用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴双十一史上最低价，从未有的折扣，详情请咨询qq：1840215592Hadoop实战视频教程免费...
分类：
其他好文 时间：
2014-11-10 15:12:18
阅读次数：
225
之前部署hadoop环境，在自己机器上安装了一台centos虚拟机，然后图省事，就克隆出三台，一台为master，另两台来作为 slave。
好久没用过了，昨天本想调试一下hadoop源码，打开后发现有一台主机连不上网。一直显示 “rtnetlink answers file exists”
之前也遇到过这种情况，克隆的虚拟机在网卡一直有问题，也没有太担心，无非是两种方案：
第一种： 和 N...
分类：
Web程序 时间：
2014-11-09 12:42:07
阅读次数：
175
Hadoop大数据零基础高端实战培训系列配文本挖掘项目课程分类：大数据适合人群：初级课时数量：230课时+90课程更新程度：完成用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴咨询qq：1840215592大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起到..
分类：
其他好文 时间：
2014-10-29 19:49:34
阅读次数：
221
Hadoop大数据零基础高端实战培训系列配文本挖掘项目课程分类：大数据适合人群：初级课时数量：230课时+90课程更新程度：完成用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴咨询qq：1840215592大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起...
分类：
其他好文 时间：
2014-10-29 12:13:08
阅读次数：
186
今天我们来实际搭建一下Hadoop2.2.0版，实战环境为目前主流服务器操作系统RedHat6.2系统，本次环境搭建时，各类介质均来自互联网，在搭建环境之前，请提前准备好各类介质。一、环境规划功能HostnameIP地址NamenodeMaster192.168.200.2DatanodeSlave1192.168.200.3DatanodeSlave..
分类：
其他好文 时间：
2014-10-08 14:53:16
阅读次数：
373
