1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-07-21 22:25:52
阅读次数：
76
金融RPA的2个典型应用：数据比对和回单打印一、合规部门数据比对流程自动化数据比对流程，通常是一些金融服务机构的一个小流程，但对于大部分企业或者员工而言，却是日常工作流程。1、流程拆分数据比对流程包括数据的获取、合并、比对，以及报告的生成、邮件的发送等环节。2、业务特点（1）数据来源广泛，数据文档来自多个系统、获取文档次数频繁。（2）数据处理量庞大，每天需要处理1000多条数据。（3）操作简单但繁
分类：
其他好文 时间：
2020-07-21 22:05:45
阅读次数：
60
一、表被破坏 1. 问题报错：table is marked as crashed and should be repaired 2. 解析： 某些不可测的问题造成表的损坏（频繁查询和更新）。进而造成无法读取数据。 3. 处理： check table tbname -- 用来检查出现问题的表的状态 ...
分类：
数据库 时间：
2020-07-20 13:11:02
阅读次数：
93
关于内核 内核进行的是应用软件和计算机硬件的交互工作内核进行的是应用软件和计算机硬件的交互工作在计算机科学中，内核（英语：kernel）又称核心，是一个计算机程序，用来管理软件发出的数据I/O（输入与输出）要求，将这些要求转译为数据处理的指令，交由中央处理器（CPU）及计算机中其他电子组件进行处理， ...
分类：
其他好文 时间：
2020-07-19 16:33:14
阅读次数：
186
上文提到过数据库中2PC如何实现的，今天就来好好画画2PC与3PC的流程图，以及对比它们之间的关系和区别。 分布式事务是为了解决微服务架构（形式都是分布式系统）中不同节点之间的数据一致性问题。这个一致性问题本质上解决的也是传统事务需要解决的问题，即一个请求在多个微服务调用链中，所有服务的数据处理要么 ...
分类：
其他好文 时间：
2020-07-16 18:23:42
阅读次数：
64
1.功能概述 PIE-Basic软件的波段合成功能主要用于将多幅图像合并为一个新的多波段图像(即波段的叠加，构建一个新的多波段的图像文件)。 遥感数据处理中，我们获取到的影像数据有时是按照波段分开的，而不是说是一个整体的文件，给后续处理带来很多不便，不能用真彩色、假彩色等展示遥感影像数据，处理时也需 ...
分类：
其他好文 时间：
2020-07-16 18:15:19
阅读次数：
73
想要解决的问题： 测试时，token等前面接口返回的数据，后面的请求时需要用到，通过查询接口，获取response数据，作为下个请求post的参数值 后置处理器：JSON Extractor 1.先下载一个插件：JSONPathExtractor，使用时位置如图： 2.JSON提取器的参数说明 Na ...
分类：
Web程序 时间：
2020-07-14 21:47:09
阅读次数：
83
在前面随笔《循序渐进VUE+Element 前端应用开发(15）--- 用户管理模块的处理》中介绍了用户管理模块的内容，包括用户列表的展示，各种查看、编辑、新增对话框的界面处理和后台数据处理操作，本篇随笔继续深化Vue + Element权限管理模块管理的内容，介绍组织机构和角色管理模块的处理，通过... ...
分类：
其他好文 时间：
2020-07-14 13:00:42
阅读次数：
77
上一篇我们介绍到通过 Date Warehouse T-SQL Script 来实现 CDC 数据的 ETL 和 Update，本篇 Blog 带大家通过 Data Factory 工具将该数据处理水线实现自动话，大体思路是将前面的 Data Warehouse ETL 和 Update 通过存储过 ...
分类：
其他好文 时间：
2020-07-14 00:56:14
阅读次数：
98
前言每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地使用该方案而不必做重复工作。所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行等一系列问题与挑战。为此，在实践中提出了许多解决方案，以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。一、分层分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个
分类：
编程语言 时间：
2020-07-13 21:18:16
阅读次数：
81
