一.说明 将Apache NiFi做为关系型数据与非关系型数据库的数据同步工具使用，在此场景中需要将mysql导出的avro数据格式转化为json入库HBase 二.开拔 Ⅰ).配置ExecuteSQLRecord a).选择ExecuteSQLRecord b).配置ExecuteSQLRecor ...
分类：
数据库 时间：
2020-01-04 18:52:42
阅读次数：
223
起源现在基本所有的程序中都会用到数据库，而数据库其实就是对所有业务逻辑处理结果的保存，所以不论在什么情况下数据的丢失都不被允许的，最坏的情况也要最小化数据的丢失程度，所以一般情况下，数据源都会至少配有两个节点，一个业务处理使用的节点，一个甚至多个从节点，这些从节点就是我们常说的冷备，业务处理节点（主 ...
分类：
数据库 时间：
2020-01-01 18:56:48
阅读次数：
108
当业务量上升后，由于mysql对全文检索或模糊查询支持的能力不强，在系统中查询的地方，往往会出现慢sql等，拖累系统其他模块，造成性能低下。 随着ES使用普及率的升高，ES是mysql的一个有效补充。我们可以将数据发送到搜索引擎（如ES）上，由搜索引擎来提供专业的服务。 接下来，就结合工作中实际用到 ...
分类：
其他好文 时间：
2019-12-31 18:38:00
阅读次数：
100
gitrepo 基于empty演变的一种存储方式,将存储挂载到pod时,写入的数据同步到远程的git仓库;需要注意的是,pod启动之后我们再修改gitrepo里存储的数据时,pod并不会动态加载这些. NFS共享存储 nfs存储服务器,各个节点挂载,局限性大,不完全的高可用方式 pvc和pv存储 p ...
分类：
其他好文 时间：
2019-12-26 21:04:36
阅读次数：
74
随着企业结构分散化的不断扩大，企业内部和企业间的信息互动更加频繁。越来越多的企业要求内部各种业务数据在多台服务器之间、多个数据中心之间，乃至多云和本地之间调度和同步。部署一套同步系统实现服务器与服务器之间的文件数据同步是企业IT部门管理员最常用的手段。那么企业要如何选择一款既简单好用，又安全可靠的系统呢？Ftrans飞驰云联提供的《增强型文件同步系统》通过高速传输协议技术、数据全局调度传输管理平台
分类：
其他好文 时间：
2019-12-26 16:11:50
阅读次数：
101
前言：项目整合 企业项目实战考试： 1. 全网备份解决方案实战 2. NFS集群后段共享存储搭建优化 3. 解决NFS单点实现实时数据同步。 环境： 1. 全网备份解决方案实战 一直三台服务器，分别为web01，backup，nfs。 要求： 每天晚上00点整在Web服务器上打包备份系统配置文件、网 ...
分类：
系统相关 时间：
2019-12-24 18:56:52
阅读次数：
102
连接层 当Mysql 启动 等待客户端连接请求，服务器都会新建一个线程处理（如果是线程池的话，则是分配一个空的线程）,每个线程独立，拥有各自的内存处理空间，但是，如果这个请求指示查询，没关系，但是若是修改数据，很显然，当两个线程改同一块内存是会引发数据同步问题 连接到服务器，服务器需要进行验证，也就 ...
分类：
数据库 时间：
2019-12-23 13:31:28
阅读次数：
91
问题：下单操作需要多次调用数据库，查询商品信息，用户信息，修改库存数据，造成性能瓶颈。 优化方向：读取数据改为从缓存读取，修改库存数据改为修改缓存数据在用消息队列异步修改数据库。可以用rocketmq的异步事务型消息来保证redis和数据库数据同步，在缓存异常情况可以用数据库数据来恢复。 1.交易验 ...
分类：
其他好文 时间：
2019-12-23 13:13:49
阅读次数：
98
SpringBatch 是一个大数据量的并行处理框架。通常用于数据的离线迁移，和数据处理，?持事务、并发、流程、监控、纵向和横向扩展，提供统?的接?管理和任务管理;考虑易用性、可扩展性，灵活性，可编程性，Spring Batch会比较适合有点编程基础（特别是使用Spring及SpringBoot框架... ...
分类：
其他好文 时间：
2019-12-22 14:54:04
阅读次数：
91
1背景在生产环境，有时会需要两台主机的特定目录实现实时同步。比如，将NFS共享目录的数据文件，自动实时同步到备份的服务器特定目录中2实时同步技术简介2.1实现实时同步的方法inotify+rsync方式实现数据同步sersync：金山公司周洋在inotify软件基础上进行开发的，功能更加强大2.2工作原理1.需要利用监控服务（inotify），监控同步数据服务器目录中信息的变化2.发现目录中的数据
分类：
其他好文 时间：
2019-12-21 09:25:05
阅读次数：
92
