面试时间：2019年6月 深信服的效率是很快的，前一天晚上5点钟通知笔试，在7点就要进行笔试，9点笔试完11点钟通知第二天中午11点面试 所以我做完也没有来得及有所准备，就得去面试了 面经如下： 1.namenode和secondarynamenode的工作机制 2.谈谈对flume的理解， flu ...
分类：
其他好文 时间：
2020-02-24 20:59:36
阅读次数：
89
1. 开启 2. 通过浏览器访问node节点，http://IP:50070 检查 (如果无法访问，将防火墙关闭) 如果jps查看缺少了某个节点，首先查看xml文件是否正确，如果正确，删除hadoop/tmp文件夹，然后再次格式化，（格式化会重新创建hadoop/tmp），再次启动 3. 操作分布式 ...
分类：
Web程序 时间：
2020-02-22 11:57:30
阅读次数：
81
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
Sqoop 简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可 ...
分类：
Web程序 时间：
2020-02-18 12:47:15
阅读次数：
149
1. Flume介绍 1.1 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.2 系统功能 1 ...
分类：
Web程序 时间：
2020-02-17 15:40:44
阅读次数：
95
1、定义 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2、架构图 3、常见概念理解 ①client：客户端，运行agent的地方，每台机器只运行一个agent ...
分类：
Web程序 时间：
2020-02-14 11:00:40
阅读次数：
89
电脑修好了，但之前落下的几天博客确实没啥补的劲头，今天先写一份报告吧。 实验内容和要求 安装 Flume 安装成功。 使用 Avro 数据源测试 Flume 配置文件 启动flume agent a1 创建指定的日志文件 客户端传输 传输完成 使用 netcat 数据源测试 Flume 创建exam ...
分类：
其他好文 时间：
2020-02-13 22:48:41
阅读次数：
83
1、将文件解压到/usr/local [root@localhost src]# tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/ 2、创建flume-env.sh文件，并设置jdk路径 [root@localhost local]# cp ...
分类：
Web程序 时间：
2020-02-13 15:09:49
阅读次数：
105
1、Flume简单介绍 Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2、Flume体系结构 ...
分类：
Web程序 时间：
2020-02-13 12:37:38
阅读次数：
78
