Hadoop 数据是存储在HDFS， Mapreduce 是一种计算框架，负责计算处理。HDFS上的数据存储默认是本地节点数据一份，同一机架不同节点一份，不同机架不同节点一份。默认是存储3份HDFS 存储元数据信息和存储位置信息，metadata。他们之间是通过文件名进行关联的。DataNode 节...
分类：
其他好文 时间：
2015-12-13 02:08:53
阅读次数：
116
之前有幸在MOOC学院抽中小象学院hadoop体验课。这是小象学院hadoop2.X概述第一章的笔记第一章主要讲的是hadoop基础知识。老师讲的还是比较全面简单的，起码作为一个非专业码农以及数据库管理人员，也能狗大致了解其特点。后面因为8月比较忙，就主要看案例那一部分了，应用及基础部分笔记基本没怎...
分类：
其他好文 时间：
2015-08-28 21:21:09
阅读次数：
169
转载自http://blessht.iteye.com/blog/2095675Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoo...
分类：
其他好文 时间：
2015-08-13 20:05:45
阅读次数：
100
本文详细地介绍了Hadoop的基本内容和框架，包括Hadoop是什么，Hadoop能做什么以及Hadoop的两个核心模块——HDFS和MapReduce。本文比较适合初学Hadoop的同学阅读。
分类：
其他好文 时间：
2015-06-23 00:40:52
阅读次数：
293
hive独立模式安装--jared该部署笔记是在2014年年初记录，现在放在51cto上。有关hadoop基础环境的搭建请参考如下链接：http://ganlanqing.blog.51cto.com/6967482/1387210JDK版本：jdk-7u51-linux-x64.rpmhadoop版本：hadoop-0.20.2.tar.gzhive版本：hive-0.12.0.tar.gzmysql驱..
分类：
其他好文 时间：
2015-05-22 19:29:55
阅读次数：
149
Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初...
分类：
其他好文 时间：
2015-05-11 23:40:47
阅读次数：
138
傻瓜版的hadoop安装教程。一、 Hadoop准备篇：Hadoop运行软件环境：1. SSH及 SSHD服务正常运行2. JDK如果没装，可以自己安装一下：Sudo yum –y install jdk –b current二、 Hadoop基础篇（安装完成单节点Hadoop）1. 源代码下载1....
分类：
其他好文 时间：
2015-04-15 13:17:28
阅读次数：
312
我们都知道一个地址拥有着多家公司，本案例将通过两种类型输入文件：address类（地址）和company类（公司）进行一对多的关联查询，得到地址名（例如：Beijing）与公司名（例如：Beijing JD、Beijing Red Star）的关联信息。
开发环境
硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点）
软件环境：Java 1.7.0_45、hadoop...
分类：
其他好文 时间：
2015-03-05 19:30:56
阅读次数：
268
我们都知道一个地址拥有着多家公司，本案例将通过两种类型输入文件：address类（地址）和company类（公司）进行一对多的关联查询，得到地址名（例如：Beijing）与公司名（例如：Beijing JD、Beijing Red Star）的关联信息。...
分类：
其他好文 时间：
2015-03-05 19:28:38
阅读次数：
240
倒排索引是文档检索系统中最常用的数据结构，被广泛用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行了相反的操作（根据关键字来查找文档），因而称为倒排索引（Inverted Index）。通常情况下，倒排索引由一个单词（词组）以及相关的文档列表（标示文档的ID号，或者是指定文档所在位置的URI）...
分类：
其他好文 时间：
2015-03-05 19:27:16
阅读次数：
244
