1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车:HDFS对应于GFS,即分布式文件系统,MapReduce即并行计算框架,HBase对应于 ...
分类:
其他好文 时间:
2021-03-02 12:10:47
阅读次数:
0
面试题 一、Hadoop 1.Hadoop面试题总结(一) 2.Hadoop面试题总结(二)——HDFS 3.Hadoop面试题总结(三)——MapReduce 4.Hadoop面试题总结(四)——YARN 5.Hadoop面试题总结(五)——优化问题 二、Zookeeper 1.Zookeeper ...
分类:
其他好文 时间:
2021-03-02 11:41:45
阅读次数:
0
1.概述 在大数据的浪潮下,时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等,这些数据会以不同的类型存储在不同的平台里面。为了执行ETL(提取、转换、加载)操作,需要一个消息中间件系统,该系统应该是异步和低耦合的,即来自各种存储系统(如HDFS、Cassandra、RDBMS等)的数据可 ...
分类:
其他好文 时间:
2021-03-01 13:50:00
阅读次数:
0
大数据分析——数据抓取 IOT数据抓取 1、系统架构 2、架构说明 系统架构分成三层和四个功能 ,三层分布式M2M层、M2C层、平台应用层,四个功能是 数据采集、连接、逻辑处理、存储 M2M层: 主要指的是硬件数据采集层,它包括但设备数据通过NB-IOT、WIFI、4G、5G、RJ45的方式直接上传 ...
分类:
其他好文 时间:
2021-03-01 13:48:41
阅读次数:
0
1.windows下调试时需要将hadoop.dll文件放到C:\Windows\System32下,网上很多说改源码的,其实这样也是ok的,不然会报权限错误 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache. ...
1. 管道相关命令 1.1 cut cut:以某种方式按照文件的行进行分割 参数列表: 参数 英文 含义 -c characters 按字符选取 -b 按字节选取 忽略多字节字符边界,除非也指定了 -n 标志 -d '分隔符' delimiter 自定义分隔符,默认为制表符。 -f 'n1,n2' ...
分类:
系统相关 时间:
2021-02-26 13:01:54
阅读次数:
0
当在终端执行sudo命令时,系统提示“hadoop is not in the sudoers file”: 其实就是没有权限进行sudo,解决方法如下(这里假设用户名是cuser): 1.切换到超级用户:$ su 2.打开/etc/sudoers文件:$vim /etc/sudoers 3.修改文 ...
分类:
其他好文 时间:
2021-02-25 11:47:06
阅读次数:
0
zookeeper zookeeper安装配置 从官网下载zookeeper的安装包:官网推荐的zookeeper镜像下载网站 将zookeeper的压缩包解压到指定安装目录 在zookeeper安装目录新建 data 和 log 文件夹,将conf目录下的 zoo_sample.cfg 文件,复制 ...
分类:
其他好文 时间:
2021-02-23 14:36:36
阅读次数:
0
目录 概述 测试环境 安装过程 配置启动 客户端介绍 多级DC的ldif文件的配置 [一]、概述 什么叫LDAP呢,概念的东西这里就不多讲了,网上搜索下有很多,本文的重点是介绍如何在windows平台上安装和配置openLDAP软件。 openLDAP官方网站:http://www.openldap ...
数据的基本类型及扩展 1. 数据类型: public class Demo01 { public static void main(String[] args) { //八大数据类型 int num1 = 10; byte num2 = 20; short num3 = 30; long num4 ...
分类:
其他好文 时间:
2021-02-22 11:54:36
阅读次数:
0