码迷,mamicode.com
首页 > 其他好文 > 详细

elk+filebeat源码安装

时间:2020-07-18 22:04:05      阅读:95      评论:0      收藏:0      [点我收藏+]

标签:work   详细信息   serve   kibana   nbsp   false   ref   clu   索引   

一、下载源码包

1 官网下载

下载带有jdk的elasticsearch

https://elasticsearch.cn/download/

 

2 网盘下载

https://pan.baidu.com/share/init?surl=zmVDZLZ1KJyQUdQDgJwKPw

提取码:mtvl

 

3 集群环境

1.1.1.6    jdk+elasticsearch主节点+kibana
1.1.1.7    jdk+elasticsearch数据节点+filebeat
1.1.1.8    jdk+elasticsearch数据节点+logstash


1.1.1.7的filebeat监控本机某个日志文件,输出到1.1.1.8的logstash,
1.1.1.8的logstash连接到1.1.1.6的elasticsearch,生成elasticsearch索引
1.1.1.6的kibana web显示内容

技术图片

 

二、安装前准备

1 创建普通用户

es无法使用root启动

useradd es

 

2 增加最大虚拟内存区,至少262144

vi /etc/sysctl.conf

末尾加入
vm.max_map_count=262144

 

3 为es用户增加进程最大可同时打开的文件数

查看当前每个进程最大可同时打开的文件数
ulimit -Hn
ulimit -Sn


/etc/security/limits.conf加入 es soft nofile 65536 es hard nofile 65536

 

4 为es用户增加进程的最大线程数

查看当前每个进程的最大线程数
ulimit -Hu
ulimit -Su

在/etc/security/limits.conf加入
es soft nproc  4096
es hard nproc  4096

 

5 安装jdk环境并设置环境变量

https://www.cnblogs.com/gudanaimei/p/12525325.html

 

6 把源码包以es用户上传至/home/es下,切换至es用户

如果以root用户上传,请改变源码包的所有者和所属组(chown es:es /home/es/* -R)

su es

 

三、部署elk和filebeat

1 部署elasticsearch集群(三台主机都要)

1.1 解压(三台主机都要)

cd /home/es

tar -xzvf ./elasticsearch-7.8.0-linux-x86_64.tar.gz 

 

1.2 修改配置文件

常用基本配置详情请到

https://www.cnblogs.com/gudanaimei/p/13283019.html

 

A 1.1.1.6主机上

cd /home/es/elasticsearch-7.8.0/config


vi elasticsearch.yml
#集群名字,识别集群的标识,同一个集群名字必须相同,自定义或者默认 cluster.name: my-elk #该节点名称,自定义或者默认 node.name: node1 #节点是否为为master节点 node.master: true #节点是否为为数据节点 node.data: false #监听地址 network.host: 0.0.0.0 #监听端口 http.port: 9200 #数据存放路径 path.data: /home/es/data/elk/elasticsearch/data #日志存放路径 path.logs: /home/es/data/elk/elasticsearch/logs #集群列表 discovery.seed_hosts: ["1.1.1.6", "1.1.1.7","1.1.1.8"] #初始化主节点,可以有多个,以逗号(,)隔开 cluster.initial_master_nodes: ["1.1.1.6"]

 

B 1.1.1.7主机上

cd /home/es/elasticsearch-7.8.0/config

vi elasticsearch.yml cluster.name: my
-elk node.name: node2 node.master: false node.data: true network.host: 0.0.0.0 http.port: 9200 path.data: /home/es/data/elk/elasticsearch/data path.logs: /home/es/data/elk/elasticsearch/logs discovery.seed_hosts: ["1.1.1.6", "1.1.1.7","1.1.1.8"] cluster.initial_master_nodes: ["1.1.1.6"]

 

C 1.1.1.8主机上

cd /home/es/elasticsearch-7.8.0/config


vi elasticsearch.yml
cluster.name: my
-elk node.name: node3 node.master: false node.data: true network.host: 0.0.0.0 http.port: 9200 path.data: /home/es/data/elk/elasticsearch/data path.logs: /home/es/data/elk/elasticsearch/logs discovery.seed_hosts: ["1.1.1.6", "1.1.1.7","1.1.1.8"] cluster.initial_master_nodes: ["1.1.1.6"]

 

1.3 启动elasticsearch(三台主机都要)

cd /home/es/elasticsearch-7.8.0

nohup ./bin/elasticsearch &

 

1.4 elasticsearch集群状态查看

也可以在浏览器中查看

#查看指定节点状态
curl 1.1.1.6:9200

#查看集群健康状态(ip为集群中任意一个主机ip)
curl 1.1.1.6:9200/_cluster/health?pretty

#查看集群详细信息(ip为集群中任意一个主机ip)
curl 1.1.1.6:9200/_cluster/state?pretty

#查看集群索引列表
curl 1.1.1.6:9200/_cat/indices?v

 

2 主节点1.1.1.6安装kibana

 2.1 解压

cd /home/es/

tar -xzvf kibana-7.8.0-linux-x86_64.tar.gz 

 

2.2 修改配置文件

常用基本配置详情请到

https://www.cnblogs.com/gudanaimei/p/13283022.html

 

cd kibana-7.8.0-linux-x86_64/config/

vi kibana.yml

server.port: 5601
server.host: 0.0.0.0
server.name: "kibana-1"
elasticsearch.hosts: ["http://1.1.1.6:9200","http://1.1.1.7:9200","http://1.1.1.8:9200"]
elasticsearch.preserveHost: true
kibana.index: ".kibana"
kibana.defaultAppId: "home"

elasticsearch.pingTimeout: 1500
elasticsearch.requestTimeout: 30000
elasticsearch.shardTimeout: 30000
elasticsearch.startupTimeout: 5000
elasticsearch.logQueries: false

pid.file: /home/es/data/elk/kibana/kibana.pid
logging.dest: /home/es/data/elk/kibana/logs/kibana.log
logging.silent: false
logging.quiet: false
logging.verbose: false

ops.interval: 5000
i18n.locale: "en"

 

2.3 启动kibana

cd /home/es/kibana-7.8.0-linux-x86_64

nohup ./bin/kibana &

 

2.4 浏览器查看kibana

查看kibana的插件是否准备好
1.1.1.6:5601/status

访问kibana
1.1.1.6:5601

 

3 1.1.1.7安装filebeat 

3.1 解压

cd /home/es/

tar -xzvf filebeat-7.8.0-linux-x86_64.tar.gz

 

3.2 修改配置文件

/home/es/logs目录下存放了一些日志文件,所属用户和所属组必须是es

常用基本配置详情请到

https://www.cnblogs.com/gudanaimei/p/13283028.html

 

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/es/logs/secure.log
  fields:
    level: debug
  tags: ["secure.log"]

- type: log
  enabled: true
  paths:
    - /home/es/logs/secure.log.1
  fields:
    level: debug
  tags: ["secure.log.1"]

- type: log
  enabled: true
  paths:
    - /home/es/logs/secure.log.2
  tags: ["secure.log.2"]

- type: log
  enabled: true
  paths:
    - /home/es/logs/server.log
  tags: ["server.log"]    
    
#输出到1.1.1.8的logstash
output.logstash:
  hosts: ["1.1.1.8:5044"]

 

3.3 启动filebeat

cd /home/es/filebeat-7.8.0-linux-x86_64

nohup ./filebeat -e -c ./filebeat.yml &

 

4 1.1.1.8安装logstash

4.1 解压

cd /home/es

tar -xzvf logstash-7.8.0.tar.gz

 

4.2 修改配置文件

 常用基本配置详情请到

https://www.cnblogs.com/gudanaimei/p/13283025.html

cd logstash-7.8.0/config/

mv logstash-sample.conf  logstash.conf

 

A 修改主配置文件logstash.yml

vi logstash.yml

node.name: "logstash-1"
path.data: /home/es/data/elk/logstash/data

http.enabled: true
http.host: 0.0.0.0
http.port: 9600-9700


log.level: info
log.format: json
path.logs: /home/es/data/elk/logstash/logs

 

B 修改输出文件logstash.conf

input {
  beats {
    port => 5044
  }
}

output {
  if "secure.log" in [tags] {
    elasticsearch {
      hosts => ["http://1.1.1.6:9200"]
      index => "secure_log"
    }
  }
  else if "secure.log.1" in [tags] {
    elasticsearch {
      hosts => ["http://1.1.1.6:9200"]
      index => "secure_log_1"
    }
  }
  else if "secure.log.2" in [tags] {
    elasticsearch {
      hosts => ["http://1.1.1.6:9200"]
      index => "secure_log_2"
    }
  }
  else if "server.log" in [tags] {
    elasticsearch {
      hosts => ["http://1.1.1.6:9200"]
      index => "serverlog"
    }
  }
}

 

4.3 启动logstash

cd /home/es/logstash-7.8.0

nohup bin/logstash -f config/logstash.conf &

 

4.4 查看logstash详情

浏览器输入
1.1.1.8:9600

或者curl 1.1.1.8:9600

 

elk+filebeat源码安装

标签:work   详细信息   serve   kibana   nbsp   false   ref   clu   索引   

原文地址:https://www.cnblogs.com/gudanaimei/p/13283017.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!