开始准备写测试代码 看半天不太懂(我也算是小白级别的,看我搞windows版本的kafka就知道了), 看文档无聊,偶然看到一个KAFKA的windows管理程序,于是就试试就装了一个,感觉那个玩意也比较垃圾,打算不用,突然看到上面可以管理 topic 于是我就当测试了,用这个管理工具删除 我自定义 ...
分类:
编程语言 时间:
2020-01-06 17:59:24
阅读次数:
153
1、关于主从复制的说明 持久化保证了即使redis服务重启也不会丢失数据,因为redis服务重启后会将硬盘上持久化的数据恢复到内存中,但是当redis服务器的硬盘损坏了可能会导致数据丢失,如果通过redis的主从复制机制就可以避免这种单点故障,如下图: 主redis中的数据有两个副本(replica ...
分类:
其他好文 时间:
2019-12-29 20:22:52
阅读次数:
63
Elasticsearch提供了replica解决方案,它可以帮我们解决了如果有一个或多个node失败了,那么我们的数据还是可以保证完整的情况,并且搜索还可以继续进行。但是,有一种情况是我们的所有的node,或者有一部分node失败,可能会造成我们的数据的丢失。也就是说replca不能提供一种灾难性 ...
1、开启从库GTIDsetglobalgtid_mode=‘OFF_PERMISSIVE‘;setglobalgtid_mode=‘ON_PERMISSIVE‘;setglobalenforce_gtid_consistency=ON;setglobalgtid_mode=‘ON‘要永久启用,在my.cnf配置文件中添加参数:gtid-mode=ON
分类:
数据库 时间:
2019-12-21 20:59:12
阅读次数:
113
夜间多个任务同时并行,总有几个随机性有任务失败,查看日志: cat -n ads_channel.log |grep "Caused by" 7732 Caused by: java.util.concurrent.ExecutionException: java.io.IOException: R ...
分类:
编程语言 时间:
2019-12-21 13:26:05
阅读次数:
117
1.elasticsearch相关介绍 (1)Near Realtime(NRT):近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概1秒);基于es执行搜索和分析可以达到秒级 (2)Index:索引库,包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引 ...
分类:
其他好文 时间:
2019-12-20 20:22:36
阅读次数:
93
Release Notes - Kafka - Version 0.8.1:https://archive.apache.org/dist/kafka/0.8.1/RELEASE_NOTES.htmlRelease Notes - Kafka - Version 0.10.1.0:https://a ...
分类:
其他好文 时间:
2019-12-17 22:33:25
阅读次数:
101
1,什么是分布式? 任务分解 节点通信 (1)分布式和集群的关系? 电商平台: 用户、 商品、订单、 交易 分布式: 一个业务拆分成多个子系统,部署在不同的服务器上 集群: 同一个业务,部署在多个服务器上 (2)什么是大型网站 访问量(tps、qps) 数据量(存储数据量) (3)具体场景 第一版应 ...
分类:
其他好文 时间:
2019-12-15 18:26:20
阅读次数:
127
solr 基本介绍Apache Solr (读音: SOLer) 是一个开源的搜索服务器。Solr 使用 Java 语言开发,主要基于 HTTP 和 Apache Lucene 实现。Apache Solr 中存储的资源是以 Document 为对象进行存储的。每个文档由一系列的 Field 构成,... ...
分类:
其他好文 时间:
2019-12-14 10:05:08
阅读次数:
149
1.mongodb 数据导出: connection options: /h, /host:<hostname> mongodb host to connect to (setname/host1,host2 for replica sets) /port:<port> server port (c ...
分类:
其他好文 时间:
2019-12-10 15:13:27
阅读次数:
108