什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
我最新最全的文章都在 南瓜慢说 www.pkslow.com ，欢迎大家来喝茶！ 1 简介 见名知义，Spring Cloud Gateway是用于微服务场景的网关组件，它是基于Spring WebFlux，也就是Reactive的。从实现原理上，它的性能应该是比Zuul会更好。 它的工作原理如下图 ...
分类：
编程语言 时间：
2021-06-21 20:21:24
阅读次数：
0
前言 带着问题学习是最有目的性的，我们先提出以下几个问题，看看通过这篇博客的讲解，能解决问题吗？ 什么是JWT？ 为什么要用JWT？它有什么优势？ JWT的认证流程是怎样的？ JWT的工作原理？ 我们带着4个问题进入学习 1.什么是JWT？ JWT全称Json Web Token，JWT 是一种开发 ...
分类：
其他好文 时间：
2021-06-20 18:07:22
阅读次数：
0
上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
Hive列转行： select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意：collect_set 有重复的会去重， collect_list 有重复的不去重 hive行转列： sel ...
分类：
其他好文 时间：
2021-06-19 19:05:46
阅读次数：
0
所谓主主复制，即双主备份，或者叫互作主从复制，每台master既是master，又是slave。这种方案，既做到了访问量的压力分流，同时也解决了**单点故障**问题。 ...
分类：
数据库 时间：
2021-06-19 18:50:14
阅读次数：
0
原文链接： https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/ 1、什么是数据本地化 数据本地化（Data locality）是指将计算移动到数据所在的节点，而不是移动数据移动到计算所在的节点。在Hadoop中，一 ...
分类：
其他好文 时间：
2021-06-18 19:09:26
阅读次数：
0
InputSplit是block和mapper之间的代理，也即是为mapper提供了一个数据视图。 我们以HDFS的block的大小为128MB举例，当一行日志为130MB（包括行分隔符），这一行数据会被分在两个block中，如果mapper直接读block的话，会读到一个被截断的行日志。这是为什么 ...
分类：
其他好文 时间：
2021-06-18 18:49:59
阅读次数：
0
常用的传感器有哪些 什么叫 传感器 微型化、数字化、智能化、多功能化、系统化、网络化。它是实现自动检测和自动控制的首要环节。传感器的存在和发展，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。通常根据其基本感知功能分为热敏元件、光敏元件、气敏元件、力敏元件、磁敏元件、湿敏元件、声敏元件、放 ...
分类：
其他好文 时间：
2021-06-16 18:00:28
阅读次数：
0
第一、二章 HTML、CSS、JavaScript自行复习 第三章 浏览器 / 服务器 一、Java Web工作原理 —>用户在客户端（浏览器）发送请求 —>Web服务器请求URL所标识的路径 —>Web服务器加上消息头发送给客户端的浏览器 —>客户端解析响应的HTML数据渲染到页面 1.2Serv ...
分类：
Web程序 时间：
2021-06-13 10:57:07
阅读次数：
0
