HDFS架构图 一、Hadoop框架简介 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 HDFS(Hadoop Distribution File System)，称为Hadoop分布式文件系统，主要特 ...
分类：
其他好文 时间：
2016-09-23 12:45:11
阅读次数：
244
Hadoop Streaming提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer，从而充分利用Hadoop并行计算框架的优势和能力，来处理大数据 好吧我承认以上这句是抄的以下是原创干货 首先部署hadoop环境 ...
分类：
编程语言 时间：
2016-08-18 19:51:14
阅读次数：
361
前言 在2014年初，我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版， 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法。 背景 集群安全措施相对薄弱 最早部署Hadoop集群时并 ...
分类：
其他好文 时间：
2016-07-21 17:59:15
阅读次数：
461
安装Hadoop教程 目录 第一步、 配置Vmware NAT网络... 2 一、 Vmware网络模式介绍... 2 二、 NAT模式配置... 2 第二步、 安装Linux操作系统... 3 三、 Vmware上安装Linux系统... 3 四、 设置网络... 5 五、 修改Hostname.... ...
分类：
其他好文 时间：
2016-06-21 20:22:08
阅读次数：
283
配置集群方案 Ubuntu下的配置apache虚拟主机方案: 对其中的Master节点配置虚拟主机，可以通过Chrome浏览器访问目录。 安装虚拟主机之前，先安装Apache2 再安装php5 然后，进入 /etc/apache2/sites-available文件夹，添加”*.conf”文件 往该 ...
分类：
其他好文 时间：
2016-06-12 20:36:13
阅读次数：
862
一、初学者问题： 请教个问题在实际的生成环境里面，数据源产生的地方部署Hadoop,还是需要程序把数据给迁移到Hadoop云上面去啊 回答： (1)hadoop不是云，hadoop是处理大数据的 (2)如果产生数据的话，你可以使用sqoop导入数据，也可以使用手机日志工具，比如flume 更多资料： ...
分类：
其他好文 时间：
2016-05-17 11:09:43
阅读次数：
147
OpenStack入门 之 扩展话题写在前面学习目标：
了解 OpenStack 的自动化部署
了解 Hadoop 云化时存在的问题
了解 Ceph 的简介及 Ceph 在 OpenStack 中的应用
了解 OpenStack 与 Docker
本次笔记的内容有：
OpenStack 自动化部署
Hadoop 云化时存在的问题
基于 OpenStack 实现 Hadoop 云化
Ceph 简介
C...
分类：
其他好文 时间：
2016-04-08 15:19:52
阅读次数：
179
安装和部署Hadoop 一、安装虚拟机 1、 服务器配置信息 Linux主机一 Linux主机二 Linux主机三 主机名：master 主机名：host1 主机名：host2 IP:192.168.100.100 IP:192.168.100.101 IP:192.168.100.100 HDFS ...
分类：
其他好文 时间：
2016-04-07 08:18:57
阅读次数：
239
OLH是Oracle Loader for Hadoop的缩写，Oracle出品的大数据连接器的一个组件本文介绍的就是如何使用OLH加载Hbase表到Oracle数据库。前提：已部署Hadoop/Hive/Hbase与OLH软件 [hadoop@server1 ~]$ tree -L 1 ├── h...
分类：
数据库 时间：
2015-12-19 06:34:45
阅读次数：
517
部署Hadoop/Hive/OraLoader软件 [hadoop@server1 ~]$ tree -L 1 ├── hadoop-2.6.2 ├── hbase-1.1.2 ├── hive-1.1.1 ├── jdk1.8.0_65 ├── oraloader-3.4.0 配置hive met...
分类：
数据库 时间：
2015-12-11 14:43:31
阅读次数：
807
