需求: 中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站,包括温度、湿度、PM 2.5、AQI 等数据,链接为：https://www.aqistudy.cn/html/city_detail.html,网站显示为: 一连串的分析 该网站所有的空气质量数据都是基于图表进行显示的,并且 ...
分类：
Web程序 时间：
2020-02-24 23:54:58
阅读次数：
196
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志，日志分散难以查找3.日志数据量大，查找慢，数据不够实时解决办法：部署ELK平台ELK介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志
分类：
其他好文 时间：
2020-02-18 09:40:00
阅读次数：
367
pig Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台。 Pig为复杂的海量数据并行计算提供了一个简 易的操作和编程接口，这一点和FaceBook开源的Hive ...
分类：
其他好文 时间：
2020-02-17 19:32:25
阅读次数：
122
1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表： Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分 ...
分类：
其他好文 时间：
2020-01-13 10:51:29
阅读次数：
82
在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程，有不对的地方还望指出。 简单介绍： 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发 ...
分类：
其他好文 时间：
2020-01-06 11:11:33
阅读次数：
114
白皮书首次完整介绍了我司数据中台的数据资产管理、数据开放共享、开发协作调度、数据采集与迁移管理、数据可视化及自助分析、平台运维管控六大技术领域，并从抽象出来的平台支撑、数据管理和数据产品三大体系逐一拆开讲解。 ...
分类：
其他好文 时间：
2020-01-03 00:27:17
阅读次数：
111
[toc] 一、ELK简介 在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程，有不对的地方还望指出。 简单介绍： 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、 ...
分类：
系统相关 时间：
2019-12-20 18:17:12
阅读次数：
83
HttpReports 简单介绍 HttpReports 是 .Net Core下的一个Web组件，适用于 WebAPI 项目和 API 网关项目，通过中间件的形式集成到您的项目中, 通过HttpReports，可以让开发人员快速的搭建出一个 API 性能分析的基础报表网站。 主要包含 HttpRe ...
背景分析 从视频智能化相关技术研发开始计算，智能化在视频行业内已经发展了十余年，但是视频行业的智能化应用一直没有达到预期。目前视频智能化主要的表现还是集中在前端设备摄像机产品的某些智能功能，以及一些配备智能分析的NVR/DVR和后端的智能分析平台系统。智能化水平还处在初级阶段，周边的硬件及软件设备还 ...
分类：
系统相关 时间：
2019-11-05 16:58:42
阅读次数：
99
性能优化分析Spring Cloud ELK+kafka日志分析平台 ...
分类：
编程语言 时间：
2019-10-28 22:32:53
阅读次数：
252
