日志系统架构图 软件版本： filebeat 7.5.1 elasticsearch 7.5.1 logstash 7.5.1 kibana 7.5.1 redis 5.0.8 主机： system：Centos 7.7 host IP: 192.168.1.105 安装 elasticsearch ...
分类：
其他好文 时间：
2020-03-27 20:02:51
阅读次数：
93
在IT运维工作中我们使用elasticsearch 作为上百万大数据查询的工具，我们经常会遇到es 内存不足导致es集群分片 损坏的情况， 介于以上情况，我在这里为大家提供es 集群扩容的正确操作方式 我这里使用两台es作为数据节点，分别是es1 和es2，为了将两台服务器节点都从4G调整到16G， ...
分类：
其他好文 时间：
2020-03-22 01:39:00
阅读次数：
129
1.下载软件https://elasticsearch.cn/download/#点击上面的网址下载rpm包yuminstallelasticsearch-7.6.1-x86_64.rpm-y#安装vi/etc/elasticsearch/elasticsearch.yml#修改以下配置network.host:0.0.0.0#修改监听端口为全局discovery.seed_hosts:["hos
分类：
其他好文 时间：
2020-03-12 19:12:18
阅读次数：
77
1.安装jdk yum install java-1.8.0-openjdk -y 2.配置yum源 vim /etc/yum.repos.d/logstash.repo [logstash-7.x]name=Elastic repository for 7.x packagesbaseurl=ht ...
分类：
其他好文 时间：
2020-03-11 23:24:32
阅读次数：
76
来源：InfoQ https://www.infoq.cn/article/database-timestamp-02 作者：陶文:https://www.infoq.cn/profile/1278798 阅读数：463372015 年 8 月 20 日 19:34 如何快速检索？ Elastics ...
分类：
数据库 时间：
2020-03-11 10:51:55
阅读次数：
68
大佬开发了一个小的脚本azk8spull，这个脚本可以自动根据镜像名称进行解析，转换为azure的mirror镜像源域名。并进行拉取。拉取完成后会自动进行tag重命名为原本的镜像名 脚本已经开源在 https://github.com/xuxinkun/littleTools#azk8spull 上 ...
分类：
Web程序 时间：
2020-03-03 14:35:10
阅读次数：
95
利用 Log Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1、前提条件 已有kafka、elk、k8s集群，这3套集群搭建网上资料很多，这里不写，IP规划如下所示： kafka集群 10.6.11.22:9092 10.6.11. ...
分类：
Web程序 时间：
2020-02-29 13:03:35
阅读次数：
412
一、elasticsearch Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 基于lucene lucene基于倒序索引 1、倒序索引 2、正序索引 ...
分类：
其他好文 时间：
2020-02-21 18:00:39
阅读次数：
74
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。消息中间件到底该如何使用，何时使用这是一个问题，胡乱地使用消息中间件增加了系统的复杂度，如果用不好消息中间件还不如不用。
分类：
其他好文 时间：
2020-02-19 10:20:29
阅读次数：
116
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志，日志分散难以查找3.日志数据量大，查找慢，数据不够实时解决办法：部署ELK平台ELK介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志
分类：
其他好文 时间：
2020-02-18 09:40:00
阅读次数：
367
