ELK部署实施

标签：follow   app   UI   检索   key   接收   doc   启动   日志系统   

ELK帮助我们解决了什么？!
不使用日志系统需待解决的痛点:
大量不同种类的日志成为了运维人员的负担，不方便管理;
单个日志文件巨大，无法使用常用的文本工具分析，检索困难;
日志分布在多台不同的服务器上，业务一旦出现故障，需要一台台查看日志。
线上日志出现报错无法第一时间知悉并处理。
必须给核心开发人员开通线上服务器账号，对生产环境风险上升。
运维对线上环境不可控。
不能满足信息安全等级保护三级对日志存储的要求。
不能满足日志可视化和大数据量分析要求。

系统优化

cat /etc/security/limits.conf
注：soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值

• • nofile 65536 #配置root用户生效参数#
    ###修改文件描述符大小（程序里面需要打开多个文件调整参数）####
    deploy hard nofile 165536 #单个用户可用的最大进程数量(硬限制)
    deploy soft nofile 165536 #单个用户可用的最大进程数量(软限制) #
    ######锁定内存，拒绝 swapping####
    deploy soft memlock unlimited
    deploy hard memlock unlimited
    deploy soft nproc 165536 #可打开的文件描述符的最大数(软限制)#
    deploy hard nproc 165536 #可打开的文件描述符的最大数(硬限制)

ES配置文件说明
elasticsearch配置文件说明
grep -v ^# config/elasticsearch.yml
cluster.name: AB #配置es的集群名称
node.name: node-1 #配置节点名
node.master: true #是否可以成为master
path.data: /app/es/data #设置索引数据的存储路径
path.logs: /app/es/logs #设置日志文件的存储路径
bootstrap.memory_lock: true #设置为true来锁住内存。因为如不锁定内存，当jvm开始swapping时es的效率会降低
bootstrap.system_call_filter: false
network.host: 10.10.40.22 #指定主机地址
http.port: 9200 #设置对外服务的http端口
discovery.zen.ping.unicast.hosts: ["10.10.40.22", "10.10.40.23"] #集群中的主节点的初始列表
discovery.zen.minimum_master_nodes: 2

启动filebeat收集haproxy访问日志
前端web服务器日志收集也可用filebeat
[root@testweb ~]# grep -v "^#" /app/filebeat-5.3.1-linux-x86_64/filebeat.yml
filebeat.prospectors:

• input_type: log
  Paths that should be crawled and fetched. Glob based paths.
  paths:

  • /var/log/haproxy/haproxy.log
    document_type: haproxyacclog

• input_type: log
  paths:

  • /var/log/dmesg
    document_type: dmesg
    output.kafka:
    #enabled: true
    hosts: ["10.10.40.25:9092", "10.10.40.22:9092"]
    topics:
    • topic: ‘%{[type]}‘
      use_type: true
      partition.round_robin:
      reachable_only: false
      required_acks: 1
      compression: gzip
      max_message_bytes: 1000000
      ?
      ?启动方式：
      nohup /app/filebeat-5.3.1-linux-x86_64/filebeat -e -c filebeat.yml > /dev/null 2>&1 &

Kafka配置文件解读
broker.id=1 #id，必须是数字 必须是唯一值#
port=9092 #broker监听的端口#
host.name=10.10.40.22 #唯一值，此处填服务器IP
num.network.threads=3 #接收消息的线程数，会将接收到的消息放到内存中，然后再从内存中写入磁盘#
num.io.threads=8 #消息从内存中写入磁盘是时候使用的线程数量，用来处理磁盘IO的线程数量#
socket.send.buffer.bytes=102400 #发送套接字的缓冲区大小
socket.receive.buffer.bytes=102400 #接受套接字的缓冲区大小
socket.request.max.bytes=104857600 #请求套接字的缓冲区大小
log.dirs=/app/kafka/logs #定义log目录，启动时自动会创建#
num.partitions=16 #需要配置较大、分片影响读写速度#
num.recovery.threads.per.data.dir=1 #segment文件默认会被保留7天的时间，超时的话就会被清理，那么清理这件事情就需要有一些线程来做。这里就是用来设置恢复和清理data下数据的线程数量#
log.retention.hours=168 # segment文件保留的最长时间，默认保留7天（168小时）#
log.segment.bytes=1073741824 #日志文件中每个segment的大小，默认为1G
log.retention.check.interval.ms=300000 #上面的参数设置了每一个segment文件的大小是1G，那么就需要有一个东西去定期检查segment文件有没有达到1G,多长时间去检查一次，就需要设置一个周期性检查文件大小的时间（单位是毫秒）。
zookeeper.connect=10.10.40.22:2181,10.10.40.25:2181 #zookpeeper连接的ip和端口#
zookeeper.connection.timeout.ms=6000 #zookpeeper连接超时设置#
kafka查看所有topic

/app/kafka/bin/kafka-topics.sh --list --zookeeper 10.10.40.25:2181,10.10.40.22:2181 #查看集群中所有的主题topic名

Elastalert介绍**
Elastalert是Yelp公司用python2写的一个报警框架(目前支持python2.7，不支持3.x),github地址为?https://github.com/Yelp/elastalert

Elastalert配置文件
[root@ceshiELK1 elastalert]# grep -v "^#" example_rules/example_frequency.yaml
es_host: 10.10.40.23
es_port: 9200
name: server is error message
type: frequency?
index: w0-apache-acclog-*?
num_events: 1?
timeframe:
hours: 4
filter:
query:
query_string:
query: "ERROR"
smtp_host: smtp.qiye.sina.com
smtp_port: 25
smtp_auth_file: smtp_auth_file.yaml
email_reply_to: monitor@sina.com
from_addr: monitor@sina.com
alert:
"email"
email:
"782118373@qq.com"

配置kibana权限细分
10.10.40.22
10.10.40.23
?
两台机器安装ssl
cd /app/elasticsearch/bin/
./plugin install -b com.floragunn/search-guard-2/2.4.4.10
./plugin install -b com.floragunn/search-guard-ssl/2.4.4.19

配置文件定义证书信息
[deploy@test-apache example-pki-scripts]$ vim /app/elasticsearch/config/elasticsearch.yml
#配置elasticsearch 各结点基于tls加密通讯#
searchguard.ssl.transport.keystore_filepath: node-1-keystore.jks
searchguard.ssl.transport.keystore_password: changeit
searchguard.ssl.transport.truststore_filepath: truststore.jks
searchguard.ssl.transport.truststore_password: changeit
searchguard.ssl.transport.enforce_hostname_verification: false
##初始化 Search Guard 索引，配置帐号#配置一定要和签的客户端证书一致
searchguard.authcz.admin_dn:

• "CN=application, OU=client, O=client, L=Test, C=DE"
  ?##配置REST-API 基于https连接##
  searchguard.ssl.http.enabled: true
  searchguard.ssl.http.keystore_filepath: node-1-keystore.jks
  searchguard.ssl.http.keystore_password: changeit
  searchguard.ssl.http.truststore_filepath: truststore.jks
  searchguard.ssl.http.truststore_password: changeit

重新加载search-guard配置文件
[deploy@test-apache search-guard-2]$ tools/sgadmin.sh -ts /app/es/config/truststore.jks -tspass changeit -ks sgconfig/AB-keystore.jks -kspass changeit -cd sgconfig/ -icl -nhnv -h 10.10.40.23

通过search-guard的hash工具将密码加密
则先用plugins/search-guard-2/tools/hash.sh生成hash字符串，生成密码：?
先修改权限。再生成密码。
[deploy@ceshiELK2 search-guard-2]$ chmod +x tools/*
[deploy@ceshiELK2 search-guard-2]$ ./tools/hash.sh -p fdajkfdslfdsa
注：密码不能用$这种特殊符号
$2a$12$k7uQePTOpDvTfZdKBlNjnOVDYawe/MRMGHP1CIb7qDg6jRTtpsfWm

search-guard中的用户权限管理
1、sg_config.yml：主配置文件不需要做改动。
2、sg_internal_users.yml：本地用户文件，定义用户密码以及对应的权限。
3、sg_roles.yml：权限配置文件
4、sg_roles_mapping.yml:定义用户的映射关系
5、sg_action_groups.yml：定义权限

Logstash使用https加密传输数据到ES

通过kafka将数据传送到es

[deploy@kafka1 logs]$ cat /app/logstash/conf/nginx2-access.conf
input {
kafka {
zk_connect => "10.10.40.25:2181,10.10.40.22:2181" #消费者们
topic_id => "nginx2-accesslog"
codec => "json"
consumer_threads => 1
type => "nginx2-accesslog"
}
}
output {
if [type] == "nginx2-accesslog" {
elasticsearch {
hosts => ["10.10.40.22:9200","10.10.40.23:9200"]
codec => "json"
user => "admin"
password => "abc1g%1234"
ssl => true
ssl_certificate_verification => false
truststore => "/app/logstash/truststore.jks"
truststore_password => changeit
index => "nginx2-accesslog-%{+YYYY.MM.dd}"
}
}
}

最终实现效果
Kibana无权限项目将无法打开

ELK知识点总结

ELK部署实施

标签：follow   app   UI   检索   key   接收   doc   启动   日志系统   

原文地址：http://blog.51cto.com/chengqi/2065328