码迷,mamicode.com
首页 > 其他好文 > 详细

Canal——Canal-Adapter源码在IDEA部署运行

时间:2019-11-30 11:15:39      阅读:741      评论:0      收藏:0      [点我收藏+]

标签:试验   hub   导入   src   control   日志   res   font   调试   

 

一、下载源码

我这里用的是canal-1.1.4版本

技术图片

  • 源码结构

client-adapter项目就是本次要部署运行的

技术图片

  • 源码导入到IDEA中的结构如下:

技术图片

 

 

二、安装配置

  • 找到manven模块中有root的那个模块,然后点击install进行安装

技术图片

待安装完成后,会在对应的项目的target目录下产生相应的运行包,如果不想在开发工具中运行的话,直接拷贝对应的包即可。

  • 修改launcher的application.yml配置

技术图片

  • es adapter配置

在launcher项目中的配置文件下创建es目录并加入所需要同步的配置文件

技术图片

 

 

三、运行调试

配置完毕后,直接运行launcher这个springBoot项目即可,也就是运行CanalAdapterApplication这个类就可以了。

技术图片

 当看日志提示启动成功后就代表启动成功了!

 

四、测试验证

增量同步测试跟canal-adapter安装包部署运行一样,这里主要介绍及测试一下条件同步全量同步功能,即etl功能。

launcher项目是一个spring boot项目,在其中的rest包下有一个controller类(CommonRest.java),里面提供了一些接口,其中一个用于全量同步数据的接口

技术图片

  • canal全量同步

我们按照注释的内容发送一个http请求即可:

技术图片

 canal_db1.yml为es目录下的配置文件,运行后出现以下提示信息,就可以让canal_db1.yml配置的数据表的所有数据全同步到es中了

技术图片

 在kibana中查看数据是否已经生成:

技术图片

  • canal条件同步

如果想执行从某一个时刻的数据同步,在上面的测试URL后加上对应的参数就可以了

技术图片

其参数由es的配置项决定的,以下截图的配置文件中的etlCondition:

 技术图片

 

 

 

 

Canal——Canal-Adapter源码在IDEA部署运行

标签:试验   hub   导入   src   control   日志   res   font   调试   

原文地址:https://www.cnblogs.com/caoweixiong/p/11961600.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!