1)Hadoop学习总结 (1)HDFS简介 (2)HDFS读写过程解析 (3)Map-Reduce入门 (4)Map-Reduce的过程解析 (5)Hadoop的运行痕迹 (6)Apache Hadoop 版本2)Hadoop-0.20.0源代码分析 (1)Hadoop-0.20.0...
分类:
其他好文 时间:
2014-12-23 22:29:26
阅读次数:
110
二、Hadoop伪分布式模式配置
本实验需要按照上一节单机模式部署后继续进行操作
1. 配置core-site.xml, hdfs-site.xml,mapred-site.xml及yarn-site.xml
1).修改core-site.xml:
$ sudo gvim /usr/local/hadoop/etc/core-site.xml
configurat...
分类:
其他好文 时间:
2014-12-23 21:11:31
阅读次数:
173
(1)分布式文件系统随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。...
分类:
系统相关 时间:
2014-12-23 21:03:15
阅读次数:
289
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1....
分类:
其他好文 时间:
2014-12-23 20:53:31
阅读次数:
242
1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client),被调用方(server)。 1.3 client主动发起请求,调用指定ip和port的server中的方法,把调用结果返回....
分类:
编程语言 时间:
2014-12-23 20:49:21
阅读次数:
129
HDFS简介
Hadoop说白了就是一个提供了处理分析大数据的文件集群,其中最重要的无疑是HDFS(Hadoop Distributed File System)即Hadoop分布式文件系统。
1、
HDFS是一种以流式数据访问模式(一次写入多次读取的模式)存储超大文件的系统。其不需要的高端的硬件系统,普通市面上的硬件就能满足要求。
目前不适合应用...
分类:
其他好文 时间:
2014-12-23 17:25:18
阅读次数:
184
线上一个项目需要操作hdfs和hive,在使用时报如下错误:java.lang.UnsupportedOperationException:Thisissupposedtobeoverriddenbysubclasses.
atcom.google.protobuf.GeneratedMessage.getUnknownFields(GeneratedMessage.java:180)
atorg.apache.hadoop.hdfs.protocol.proto...
分类:
其他好文 时间:
2014-12-23 06:51:06
阅读次数:
258
安装在一台节点上就可以了。1. 使用winscp上传sqoop2. 安装和配置添加sqoop到环境变量将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里### 第一类:数据库中的数据导入到HDFS上sqoop import --connect j...
分类:
其他好文 时间:
2014-12-22 21:15:29
阅读次数:
232
Hive使用HDFS目录数据创建Hive表分区...
分类:
其他好文 时间:
2014-12-22 18:02:19
阅读次数:
152
文章来自:http://www.cnblogs.com/hark0623/p/4177794.html 转载请注明其实问题很简单,因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。你使用netstat -apn | grep 50700...
分类:
Web程序 时间:
2014-12-22 12:51:14
阅读次数:
743