码迷,mamicode.com
首页 >  
搜索关键字:hbase hadoop    ( 16410个结果
Windows10 从零搭建 Hadoop/Hive 环境及 Hive 入门
1. Hadoop 概览Google 三篇论文(GFS -> HDFS,Map-Reduce -> MR,BigTable -> HBase)是 Hadoop 的思想之源。Hadoop 生态非常庞大,其最初两大核心是 HDFS 和 MR,分别负责存储和计算(Hadoop 1.x 中,MR 既负责计算 ...
分类:Windows程序   时间:2021-06-08 23:15:13    阅读次数:0
真正了解sqoop的一切
一.sqoop的简单概论 1.sqoop产生的原因: A. 多数使用hadoop技术的处理大数据业务的企业,有大量的数据存储在关系型数据中。 B. 由于没有工具支持,对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 2. sqoop的介绍 sqoop是连接 ...
分类:其他好文   时间:2021-06-08 22:45:15    阅读次数:0
利用sqoop将hive数据导入导出数据到mysql
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题: sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类:数据库   时间:2021-06-07 20:36:05    阅读次数:0
01 Spark架构与运行流程
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:其他好文   时间:2021-06-07 20:05:58    阅读次数:0
12HDFS客户端操作(开发重点)
HDFS客户端环境准备 1.根据拷贝编译后的hadoop jar包到非中文路径 2.配置HADOOP_HOME环境变量 3. 配置Path环境变量 4.创建一个Maven工程HdfsClientDemo 5.导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr ...
分类:其他好文   时间:2021-06-06 19:12:37    阅读次数:0
Hbase 基本操作命令
查看所有的表 :list 查看表中所有数据:scan 'staff' 前10条: scan 'test-table',{'LIMIT' => 10} 后10条: scan 'test-table',{'LIMIT' => 10, REVERSED => TRUE} 查看表结构:desc 'staff ...
分类:其他好文   时间:2021-06-05 17:36:21    阅读次数:0
Hadoop系列番外篇之一文搞懂Hadoop RPC框架及细节实现
@ Hadoop RPC 框架解析 网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-Process Communication, IPC)逻辑,是所有分布式系统的基础。远程过程调用(Remote Procedure Call, RPC)是一种常用的分 ...
分类:其他好文   时间:2021-06-02 19:49:37    阅读次数:0
Hadoop MapReduce 一文详解MapReduce及工作机制
@ 前言-MR概述 MapReduce是一个分布式计算框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成:编程模型和运行时环 境。其中,编程模型为用户提供了非常易用的编程接口,用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序,而其他比较复杂的工作,如 ...
分类:其他好文   时间:2021-06-02 19:46:24    阅读次数:0
2、linux Hadoop集群环境配置ssh无密码验证
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类:系统相关   时间:2021-06-02 15:27:52    阅读次数:0
hadoop实践
hadoop 1.0 1. 创建用户hadoop 2. 下载: curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类:其他好文   时间:2021-06-02 14:05:53    阅读次数:0
16410条   上一页 1 2 3 4 5 6 ... 1641 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!