背景 canal 1.1.1版本之后, 内置增加客户端数据同步功能, Client适配器整体介绍: ClientAdapter RDB适配器 RDB adapter 用于适配mysql到任意关系型数据库(需支持jdbc)的数据同步及导入 测试支持的数据库列表: MYSQL ORACLE POSTGR ...
分类：
其他好文 时间：
2020-07-30 18:17:21
阅读次数：
78
题记几个月以来，我一直在记录自己开发Elasticsearch应用程序的最佳实践。本文梳理的内容试图传达Java的某些思想，我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和Elasticsearch官方文档中已经介绍的内容。本文梳理的内容都是从线上实践问题和个人总结的经验汇总得来的。文章从以下几个维度展开讲解：映射（Mapping）设置（Setting）查询方式（Querying）实战技巧
分类：
其他好文 时间：
2020-07-29 15:04:50
阅读次数：
71
上次说把elasticsearch作为服务运行，其实很简单，你只要下载一个软件就能轻松搞定了。 这个软件是nssm 下载：https://nssm.cc/download 下载后，安装就更简单了： 在nssm 下按住shift键然后右击选择在此处打开命令窗口： 输入nssm install 然后选择 ...
分类：
其他好文 时间：
2020-07-26 19:20:33
阅读次数：
65
1、准备数据 1) 创建索引 2) 创建mapping JSON数据如下 { "properties": { "id": { "type": "long" }, "age": { "type": "integer" }, "username": { "type": "keyword" }, "nic ...
分类：
其他好文 时间：
2020-07-18 15:24:23
阅读次数：
90
首先下载包解压啥的就不说了 其次，要修改config目录下的jvm.options 将堆和栈的内存修改按照系统的大小调整，如果充足改为各30G最好 然后改 elasticsearch.yml 允许所有节点访问network.ip 0.0.0.0 修改数据目录和日志存放目录 然后再修改 /etc/sy ...
分类：
其他好文 时间：
2020-06-28 15:10:45
阅读次数：
66
想了解大数据量的运维能力。 解答：索引数据的规划，应在前期做好规划，正所谓“设计先行，编码在后”， 这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户 检索或者其他业务受到影响。 如何调优，正如问题 1 所说，这里细化一下： 3.1 动态索引层面 基于模板+时间+rollover ...
分类：
其他好文 时间：
2020-06-26 14:21:51
阅读次数：
73
Filebeat附带了示例Kibana仪表板，可视化文件，并提供了搜索以可视化Kibana中的Filebeat数据。 本例展示Nginx示例仪表板 步骤一、采集Nginx日志 使用Filebeat Nginx Module采集Nginx Access日志 参考：【Beats】 Filebeat收集N ...
分类：
其他好文 时间：
2020-06-25 10:04:11
阅读次数：
154
1、为什么需要倒排索引 倒排索引，也是索引。 索引，初衷都是为了快速检索到你要的数据。 每种数据库都有自己要解决的问题（或者说擅长的领域），对应的就有自己的数据结构，而不同的使用场景和数据结构，需要用不同的索引，才能起到最大化加快查询的目的。 对 Mysql 来说，是 B+ 树，对 Elastics ...
分类：
其他好文 时间：
2020-06-24 12:00:51
阅读次数：
75
Filebeat Filebeat 是用于转发和集中日志数据的轻量级传输程序。Filebeat 可以监听指定的日志文件或位置，从中收集日志事件并将其转发到 Elasticsearch 或 Logstash 进行索引。Filebeat 的工作原理如下： Filebeat 启动一个或多个 Input，I ...
分类：
其他好文 时间：
2020-06-16 13:00:07
阅读次数：
55
