原文链接： https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了，如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为 ...
分类：
其他好文 时间：
2020-03-21 00:07:30
阅读次数：
68
HDFS写数据流程 1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在； 2.NameNode返回是否可以上传文件； 3.客户端请求一个block上传到指定的那个DataNode服务器上； 4.Nam ...
分类：
其他好文 时间：
2020-03-20 19:52:48
阅读次数：
56
HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理。HDFS只是分布式文件管理系统中的一种； HDFS是什么 HDFS是基于java的分布式文件系统，允许您 ...
分类：
其他好文 时间：
2020-03-20 13:01:13
阅读次数：
71
a1.sources = s1a1.channels = c1a1.sinks = k1 a1.sources.s1.channels = c1a1.sources.s1.type = spooldira1.sources.s1.spoolDir = /home/abby/dataa1.source ...
分类：
Web程序 时间：
2020-03-20 09:16:44
阅读次数：
81
原文链接： https://www.toutiao.com/i6764296608705151496/ 单词统计的是统计一个文件中单词出现的次数，比如下面的数据源 其中,最终出现的次数结果应该是下面的显示 那么在MapReduce中该如何编写代码并出现最终结果？ 首先我们把文件上传到HDFS中(hd ...
分类：
编程语言 时间：
2020-03-20 00:51:35
阅读次数：
96
原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。 其中InputFormat可以认为是一种类的继承关系，最终通过调用rea ...
分类：
其他好文 时间：
2020-03-20 00:45:41
阅读次数：
69
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
hdfs有点：高容错性。自动保存多个副本，副本丢失自动恢复，文件处理规模大，可以放置在廉价的机器上面 缺点：hdfa对每一个小文件都有记录，无论大小都会占用内存解决方法是合并处理，不适合低延时的数据访问 文件块的大小决定于磁盘的数据传输效率：一般的是128mb，老版本是64mb，本地模式是32mb， ...
分类：
其他好文 时间：
2020-03-16 13:14:29
阅读次数：
72
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-03-15 18:59:04
阅读次数：
159
