FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-336454126-127.0.0.1-1419216478581 (storage i...
分类：
其他好文 时间：
2014-12-22 12:38:22
阅读次数：
183
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。 其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表 hadoop只支持HDFS这一中实现，其同时支...
分类：
其他好文 时间：
2014-12-22 10:47:29
阅读次数：
164
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。术语 Ma...
分类：
其他好文 时间：
2014-12-22 10:46:04
阅读次数：
270
分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。 Hadoop提供了一个文件系统接口和多个分布式文件系统实现，其中比较重要的就是HDFS（Hadoop Distributed Filesystem）了。Hadoop是一个综合性的文件系统抽象，因此它也可以集成其他文件系统的实...
分类：
其他好文 时间：
2014-12-22 10:41:42
阅读次数：
278
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处.....
分类：
其他好文 时间：
2014-12-22 10:40:34
阅读次数：
238
一. sqoop安装：
安装在一台节点上就可以了。
1. 使用winscp上传sqoop
2. 安装和配置
添加sqoop到环境变量
将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里
二. sqoop的使用
### 第一类：数据库中的数据导入到HDFS上
sqoop import --connect jdbc:...
分类：
其他好文 时间：
2014-12-21 20:46:04
阅读次数：
223
[hadoop@MasterHadoop50 ~]$ hadoop namenode -format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Error: Could not find or load main class...
分类：
编程语言 时间：
2014-12-21 14:03:13
阅读次数：
1107
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
其他好文 时间：
2014-12-20 02:05:45
阅读次数：
209
文章： http://blog.csdn.net/lili72
背景： 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式，需要对文件进行解析，导入HDFS中。
过程
1 rsync同步文件到当天的日期目录，每天实时把文件...
分类：
Web程序 时间：
2014-12-19 23:32:53
阅读次数：
407
这次配置的环境是Hadoop1.2.1版本，Hadoop在13年推出了Hadoop2.0版本，该版本在Hadoop1.0版本的基础上作了较大的改动，提升了Hadoop集群任务调度、资源分配以及故障处理方面的效率。 Hadoop2.0在Hadoop1.0的基础上，首先对HDFS作了改动，在Had...
分类：
其他好文 时间：
2014-12-19 14:10:00
阅读次数：
147
