随着大数据的盛行，Hadoop也流行起来。面过一些公司，包括开发Hadoop :如Cloudera, Hortonworks, MapR, Teradata, Greenplum, Amazon EMR, 使用Hadoop的除了Google，数不胜数了. Hadoop 2.0转型基本无可阻挡，今年下 ...
分类：
其他好文 时间：
2018-03-12 23:03:37
阅读次数：
342
5) The Java Interface a) Reading Data from a Hadoop URL. 使用hadoop URL来读取数据 b) Although we focus mainly on the HDFS implementation, DistributedFileSyst ...
分类：
其他好文 时间：
2018-02-19 21:16:11
阅读次数：
198
前言 使用Hadoop进行离线分析或者数据挖掘的project师，常常会须要对Hadoop集群或者mapreduce作业进行性能调优。或许你知道通过浏览器訪问http://master:18088/conf来查看配置信息。例如以下图所看到的： 但是当Linuxproject师们仅仅面对命令行时，怎样 ...
分类：
其他好文 时间：
2018-02-09 20:43:36
阅读次数：
169
1.关于MapReduce MapReduce是一种可用于数据处理的编程模型，能够支持java、Python、C++等语言。MapReduce程序本质上是并行运行的，因此可以处理大规模数据集，这也是它的优势。 2.使用hadoop分析数据 hadoop提供了并行处理，我们将查询表示成MapReduc ...
分类：
其他好文 时间：
2018-01-27 21:22:05
阅读次数：
200
Sqoop Flume HDFS Sqoop用于从结构化数据源，例如，RDBMS导入数据 Flume 用于移动批量流数据到HDFS HDFS使用 Hadoop 生态系统存储数据的分布式文件系统 Sqoop具有连接器的体系结构。连接器知道如何连接到相应的数据源并获取数据 Flume 有一个基于代理的架 ...
分类：
Web程序 时间：
2017-12-13 17:05:24
阅读次数：
242
使用hadoop上传文件 hdfs dfs -put XXX 查看hadoop是否正常，进程是否完整 查看磁盘使用情况 从这里可以看出操盘的空间都是空的 原因可能是hadoop格式化的时候出现了问题 然后将logs和tmp中的文件全部删除，重新格式化也没成功，后来看到clusterId不一致的问题 ...
分类：
Web程序 时间：
2017-12-08 14:28:27
阅读次数：
535
1. Hive基本概念 1.1 Hive简介 1.1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1.2 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapRe ...
分类：
其他好文 时间：
2017-12-01 19:42:40
阅读次数：
266
转自：http://blog.csdn.net/michaelwubo/article/details/50879832 一、使用Hadoop URL读取数据 其中，我使用到的jar包有： hadoop-core的版本一定要和分布式环境上安装的hadoop版本保持一致，不然会报错： 12/09/11 ...
分类：
编程语言 时间：
2017-11-11 00:29:01
阅读次数：
329
一.配置环境redhat6.5server1172.25.29.1hadoopmasternfsserver2172.25.29.2nfsserver3172.25.29.3nfsserver4172.25.29.4nfsserver5172.25.29.5高可用备机nfs二.Hadoop单点配置1.安装hadoop和jdk使用hadoop用户运行2.配置hadoop在java上的运行环境3.算法模块测试output生成的数..
分类：
系统相关 时间：
2017-10-25 14:22:27
阅读次数：
299
目标是第二年能得到8K以上的待遇。 要求熟练使用Hadoop生态圈技术（hive,hbase,spark,impala,sqoop,scala/python/shell,kafka,flume,gobblin,hdfs,zookeeper），然后是能树仓，精通sql的调优，会算法。 不会的有点多哈。 ...
分类：
其他好文 时间：
2017-10-24 17:21:39
阅读次数：
209
