码迷,mamicode.com
首页 >  
搜索关键字:HDFS    ( 4980个结果
学习Hadoop不错的系列文章
1)Hadoop学习总结 (1)HDFS简介 (2)HDFS读写过程解析 (3)Map-Reduce入门 (4)Map-Reduce的过程解析 (5)Hadoop的运行痕迹 (6)Apache Hadoop 版本2)Hadoop-0.20.0源代码分析 (1)Hadoop-0.20.0...
分类:其他好文   时间:2014-12-23 22:29:26    阅读次数:110
Hadoop伪分布模式配置部署
二、Hadoop伪分布式模式配置 本实验需要按照上一节单机模式部署后继续进行操作 1. 配置core-site.xml, hdfs-site.xml,mapred-site.xml及yarn-site.xml 1).修改core-site.xml: $ sudo gvim /usr/local/hadoop/etc/core-site.xml configurat...
分类:其他好文   时间:2014-12-23 21:11:31    阅读次数:173
HDFS的基本shell操作
(1)分布式文件系统随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。...
分类:系统相关   时间:2014-12-23 21:03:15    阅读次数:289
HDFS的体系结构和操作
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1....
分类:其他好文   时间:2014-12-23 20:53:31    阅读次数:242
HDFS的java操作方式
1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client),被调用方(server)。 1.3 client主动发起请求,调用指定ip和port的server中的方法,把调用结果返回....
分类:编程语言   时间:2014-12-23 20:49:21    阅读次数:129
Hadoop权威指南学习笔记三
HDFS简介 Hadoop说白了就是一个提供了处理分析大数据的文件集群,其中最重要的无疑是HDFS(Hadoop Distributed File System)即Hadoop分布式文件系统。   1、          HDFS是一种以流式数据访问模式(一次写入多次读取的模式)存储超大文件的系统。其不需要的高端的硬件系统,普通市面上的硬件就能满足要求。          目前不适合应用...
分类:其他好文   时间:2014-12-23 17:25:18    阅读次数:184
protobuf 2.5.0问题
线上一个项目需要操作hdfs和hive,在使用时报如下错误:java.lang.UnsupportedOperationException:Thisissupposedtobeoverriddenbysubclasses. atcom.google.protobuf.GeneratedMessage.getUnknownFields(GeneratedMessage.java:180) atorg.apache.hadoop.hdfs.protocol.proto...
分类:其他好文   时间:2014-12-23 06:51:06    阅读次数:258
hadoop(八) - sqoop安装与使用
安装在一台节点上就可以了。1. 使用winscp上传sqoop2. 安装和配置添加sqoop到环境变量将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里### 第一类:数据库中的数据导入到HDFS上sqoop import --connect j...
分类:其他好文   时间:2014-12-22 21:15:29    阅读次数:232
Hive使用HDFS目录数据创建Hive表分区
Hive使用HDFS目录数据创建Hive表分区...
分类:其他好文   时间:2014-12-22 18:02:19    阅读次数:152
CDH中HDFS的WEB UI外网无法访问的问题
文章来自:http://www.cnblogs.com/hark0623/p/4177794.html 转载请注明其实问题很简单,因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。你使用netstat -apn | grep 50700...
分类:Web程序   时间:2014-12-22 12:51:14    阅读次数:743
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!