本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当
分类：
其他好文 时间：
2020-05-06 10:30:40
阅读次数：
73
什么是Zab协议 Zab 协议的作用 Zab 协议原理 Zab 协议核心 Zab 协议内容 原子广播 崩溃恢复 如何保证数据一致性 Zab 协议如何数据同步 如何处理需要丢弃的 Proposal Zab 协议实现原理 选主过程 什么是Zab协议？ Zab协议 的全称是 Zookeeper Atomi ...
分类：
其他好文 时间：
2020-05-06 01:34:30
阅读次数：
62
副本集介绍副本集是什么-MongoDB复制是将数据同步在多个服务器的过程。-复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性,并可以保证数据的安全性。-复制还允许您从硬件故障和服务中断中恢复数据复制原理副本集工作过程mongodb的复制至少需要两个节点。其中一个是主节点，负责处理客户端请求，其余的都是从节点,负责复制主节点上的数据。mongodb各个节点常见的搭配方式为:
分类：
数据库 时间：
2020-05-05 21:54:31
阅读次数：
87
Java内存模型规定了所有的变量都存储在主内存中 每条线程还有自己的工作内存 线程的工作内存中保存了该线程中是用到的变量的主内存副本拷贝 线程对变量的所有操作都必须在工作内存中进行，而不能直接读写主内存。 不同的线程之间也无法直接访问对方工作内存中的变量，线程间变量的传递均需要自己的工作内存和主 存 ...
分类：
编程语言 时间：
2020-05-05 11:00:31
阅读次数：
58
redis和memcached比较？ redis中数据库默认是多少个db 及作用？ python操作redis的模块？ 如果redis中的某个列表中的数据量非常大，如果实现循环显示每一个值？ redis如何实现主从复制？以及数据同步机制？ redis中的sentinel的作用？ 如何实现redis集 ...
分类：
其他好文 时间：
2020-05-04 00:36:05
阅读次数：
61
二、备份服务（rsync） （一）rsync服务介绍 Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。Rsync软件适用于unix/linux/windows等多种操作系统平台。 Rsync是 ...
分类：
系统相关 时间：
2020-05-01 18:15:51
阅读次数：
80
第 7章实操篇开机、重启和用户登录注销 7.1关机&重启命令 7.1.1基本介绍 shutdown shutdown h now :表示立即关机 shutdown h 1 :表示 1分钟后关机 shutdown r now:立即重启 halt 就是直接使用，效果等价于关机 reboot 就是重启系统 ...
分类：
其他好文 时间：
2020-05-01 00:59:40
阅读次数：
59
1、安装redis sudo apt-get install redis-server 2、查看是否安装成功 3、开启redis远程连接 编辑 /etc/redis/redis.conf 注释 bind 127.0.0.1 ::1 设置 protected-mode no 1、关闭protected ...
分类：
数据库 时间：
2020-04-30 11:58:10
阅读次数：
68
spider文件 继承RedisCrawlSpider，实现全站爬取数据 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from h ...
分类：
数据库 时间：
2020-04-24 09:16:11
阅读次数：
141
最近公司在使用elasticsearch，使用的是6.5版本的。其中有一个需求就是需要把数据库已有的数据同步到elasticsearch中来，调研了几种方案。 logstash，elasticsearch-jdbc，自己实现。 暂时采用的是elasticsearch-jdbc，但是，同步的过程中，出 ...
分类：
数据库 时间：
2020-04-23 23:29:23
阅读次数：
297
