? 随着数据已经逐步成为一个公司宝贵的财富,大数据团队在公司往往会承担更加重要的角色。大数据团队往往要承担数据平台维护、数据产品开发、从数据产品中挖掘业务价值等重要的职责。所以对于很多大数据工程师,如何根据业务需求去选择合适的大数据组件,做合适的大数据架构工作就是日常工作中最常遇到的问题。在这里根据 ...
分类:
其他好文 时间:
2018-12-10 00:45:25
阅读次数:
185
在网上找了很多资料都是描述不详细,配置方面编写粗糙。在搭建过程中遇到一些问题,通过分析参考网络资料。这份资料通过自己搭建结合在搭建过程中所遇到的问题注意点详细的写在文档中。供网友参考。
分类:
其他好文 时间:
2018-11-28 18:52:09
阅读次数:
738
AWStats介绍AWStats是使用Perl语言开发的一款开源日志分析系统,它不仅可用来分析Apache网站服务器的访问日志,也可以用来分析Samba、Vsftpd、IIS等服务的日志信息。结合crond等计划任务服务,可以对不断增长的日志内容定期进行分析。AWStats的运行是需要PERL环境的支持,从AWStats的文档来看,它对于ApacheHTTPServer的支持是非常完美的,而当我们
分类:
其他好文 时间:
2018-11-15 11:05:14
阅读次数:
194
一、引言 .Net技术栈目前还没有像spring cloud相对完整一整微服务架构栈,随着业务发展系统架构演进,自行构建.Net技术体系的微服务架构,配套相关核心组件。因平台基于微服务架构方式研发,每个领域服务遵循平台统一标准,各自研发,独立部署运行,服务运行日志均通过记录本地文件方式进行记录。程序 ...
分类:
Web程序 时间:
2018-09-10 11:08:30
阅读次数:
276
苦海无边,回头是岸。学会运维自动化,带你脱离无边的运维苦海标题:轻松玩转ELK海量可视化日志分析系统评价:数据时代运维心法作者:南非蚂蚁试读:ELK应用架构介绍(附专栏目录)专栏地址:http://blog.51cto.com/cloumn/detail/14标题:基于Kubernetes企业级容器云平台落地与实践评价:容器私有云平台实践之路作者:李振良OK试读:这是一项颠覆性技术-容器)专栏地址
分类:
其他好文 时间:
2018-08-27 21:50:34
阅读次数:
175
随着数据已经逐步成为一个公司宝贵的财富,大数据团队在公司往往会承担更加重要的角色。根据七牛云在日增千亿级的日志分析工作,资深数据架构师崔文正为大家分享了大数据技术架构选型的一些经验。
分类:
其他好文 时间:
2018-08-22 18:26:24
阅读次数:
197
在CentOS7中部署ELK日志分析系统ELK原理介绍什么是ELKELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。Elasticsearch是实时全文搜索和
分类:
其他好文 时间:
2018-08-22 10:19:46
阅读次数:
446
专栏介绍ELK是目前行业中非常热门的一个技术,它可以用于电商网站、门户网站、企业IT系统等各种场景下,也可以用于对海量的数据进行近实时的数据分析。专栏深入浅出剖析ELK在企业常见应用框架以及ZooKeeper、Kafka与ELK进行整合的方法和架构。首选通过具体的一个应用案例介绍ZooKeeper+Kafka+ELK构建一套实时日志处理系统的过程。然后通过对Logstash和filebeat的对比
分类:
其他好文 时间:
2018-08-20 20:15:17
阅读次数:
281
实验目标1.学会构建AWStats日志分析系统2.学会编译安装httpd服务器3.熟悉httpd服务的部署过程及常见配置 实验环境1.安装包apr-util-1.4.1.tarapr-1.4.6.tar httpd-2.4.2.tar软件包百度网盘http链接:https://pan.baidu.com/s/1qrKgLVdeZ6xhnYZEd01KDA 密码:a0ka 2.服务器系统:Linu
分类:
Web程序 时间:
2018-08-12 22:50:07
阅读次数:
251