将mysql数据同步到ES6.4

标签：语句   plugin   arch   配置文件   解压   ring   tps   es6   vim   

下载安装包时注意下载到指定文件夹 这里我放在OPT文件夹下
一：安装logstash
进入到opt文件夹打开终端 执行以下命令
wget -c https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.zip
加上-c支持断点续传
二：解压logstash
unzip logstash-6.4.0.zip
三：进入到logstash bin目录
cd logstash-6.4.0/bin
四：安装logstash-jdbc
./logstash-plugin install logstash-input-jdbc
五：编写配置文件（jdbc.sql和jdbc.conf，建议在bin目录下vim jdbc.conf)
六：首先在bin目录下新建一个mysql目录,里面包含jdbc.conf,jdbc.sql文件,加入mysql的驱动
全量同步
jdbc.conf内容：
input {
stdin {
}
jdbc {
# mysql 数据库链接,test为数据库名
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/Test"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "123456"
# 驱动
jdbc_driver_library => "mysql/mysql-connector-java-5.1.45-bin.jar"
# 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
# 执行的sql 文件路径+名称
statement_filepath => "mysql/jdbc.sql"
# 设置监听间隔 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
schedule => "* * * * *"
# 索引类型
type => "jdbc"
}
}


filter {
json {
source => "message"
remove_field => ["message"]
}
}


output {
elasticsearch {
# ES的IP地址及端口
hosts => ["192.168.105.180:9200"]
# 索引名称
index => "cctest"
# 自增ID 需要关联的数据库中有有一个id字段，对应索引的id号
document_id => "%{id}"
}
stdout {
# JSON格式输出
codec => json_lines
}
}
jdbc.sql里面就直接写sql语句就行了
七：开始导入
./logstash -f mysql/jdbc.conf

将mysql数据同步到ES6.4

标签：语句   plugin   arch   配置文件   解压   ring   tps   es6   vim   

原文地址：https://www.cnblogs.com/Hero-/p/9723677.html