热身30题 1.描述一下HDFS的写流程 2.描述一下HDFS的读流程 3.详细讲解一下HDFS的体系结构 4.如果一个datanode出现宕机，恢复流程是什么样的？ 5.通常你是如何解决Haddop的NameNode宕机的，流程是什么？ 6.描述一下NameNode对元数据的管理 7.NameNo ...
分类：
其他好文 时间：
2021-01-14 10:47:06
阅读次数：
0
1.UDAF定义 spark中的UDF(UserDefinedFunction)大家都不会陌生, UDF其实就是将一个普通的函数, 包装为可以按 行 操作DataFrame中指定Columns的函数. 例如, 对某一列的所有元素进行+1操作, 它对应mapreduce操作中的map操作. 这种操作有 ...
分类：
其他好文 时间：
2021-01-04 11:31:11
阅读次数：
0
##每周总结 |学习时间|代码量|博客量|学习的知识点|下周任务| | | | | | | |20小时|1800左右|1篇|做了mapreduce实例|继续完成xxxx系统| ...
分类：
其他好文 时间：
2021-01-01 12:12:26
阅读次数：
0
machine 是借鉴了errgroup的一个golang 并发处理包，errgroup 的使用很简单，但是对于异常的处理只能 包含一次结果，不能知道每次 gorroutine 的执行结果，同时machine也扩展了好多特性 比较适合的场景 grpc streaming 服务 websocket 服 ...
分类：
系统相关 时间：
2020-12-24 12:00:19
阅读次数：
0
MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要提交jar包；本地 ...
分类：
其他好文 时间：
2020-12-22 12:23:51
阅读次数：
0
1、提交任务 //提交任务直到返回结果job.waitForCompletion(true); 2、点击waitForCompletion方法到Job.java类 3、跟进到submit方法，调用方法： return submitter.submitJobInternal(Job.this, clu ...
分类：
其他好文 时间：
2020-12-21 11:24:14
阅读次数：
0
使用event-source-polyfill 前提： 严格的来说，HTTP协议无法做到服务端主动推送消息，但是，有一种方法，是服务器向客户端声明，接下来要发送的是流信息（streaming）。也就是说，发送的不是一次性的数据包，而是一个数据流，会连续不断的发送过来，这时，客户端不会关闭链接，会一直 ...
分类：
其他好文 时间：
2020-12-19 11:37:37
阅读次数：
1
struct uvc_streaming_control { __u16 bmHint; __u8 bFormatIndex; //视频格式索引 __u8 bFrameIndex; //视频帧索引 __u32 dwFrameInterval; //视频帧间隔 __u16 wKeyFrameRate; ...
分类：
其他好文 时间：
2020-12-16 11:56:30
阅读次数：
2
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-based Approach，根据低级api得到了Direct Approach，而在0.10由于kafka只有一套消费者 ...
分类：
其他好文 时间：
2020-12-16 11:50:30
阅读次数：
4
Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P
分类：
其他好文 时间：
2020-12-16 11:45:59
阅读次数：
4
