漫谈ELK在大数据运维中的应用 圈子里关于大数据、云计算相关文章和讨论是越来越多，愈演愈烈。行业内企业也争前恐后，群雄逐鹿。而在大数据时代的运维挑站问题也就日渐突出，任重而道远了。众所周知，大数据平台组件是很复杂的。而这庞大的系统整合问题，对于运维来说是很头疼的。所以，在大数据时代下的运维问题是日渐 ...
分类：
其他好文 时间：
2017-08-23 11:50:31
阅读次数：
934
随着科技进步、社会发展，尤其是以计算机为代表的信息技术飞速发展,各种信息呈爆炸式增长，数据渗透到各行各业，很多企业也越来越重视数据的收集与分析，以三大运营商、阿里云、景安网络为代表的高新技术企业纷纷为客户建立起专业的大数据服务平台，对客户的需要数据进行收集与分析，提供基于大数据的运营指导。 ...
分类：
其他好文 时间：
2017-08-21 14:53:30
阅读次数：
237
Apache Flume是一个分布式的、可靠的、高效的日志数据收集组件；我们通常使用Flume将分散在集群中多个Servers的log文件，汇集到中央式的数据平台中，以解决“从离散的日志文件中查看、统计数据困难”的问题。当然，Flume不仅仅可以收集log文件，它也支持比如TCP、UDP等消息数据的 ...
分类：
Web程序 时间：
2017-08-18 20:02:46
阅读次数：
177
课时1：培训须知第1 章 ： Hadoop生态系统以及版本演化 课时2：课程视频 66:53 课时3：学习资料 课时4：第一讲 课后作业第2 章 ： HDFS 2.0应用场景、原理、基本架构及使用方法 课时5：课程视频1-HDFS 2.0应用场景、原理、基本架构及使用方法 59:11 课时6：课程视 ...
分类：
其他好文 时间：
2017-08-13 16:27:32
阅读次数：
151
对于大部分人来讲，大数据离我们的生活还是很遥远的，但它的威力却已经无处不在了。如今，我们只有理解大数据并借助其优势做出决策，才能发挥它的巨大作用。今天就由千锋大数据开发培训的讲师来为大家讲一下大数据的类型。 交易数据 大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数 ...
分类：
其他好文 时间：
2017-08-11 17:22:41
阅读次数：
167
按系统功能分，不同的数据平台对应着不同的常用软件。在大数据兴盛的今天，欲进军数据界的你，应该对此有更进一步的了解。 1.数据挖掘模块 作为一个跨学科的计算机科学分支，数据挖掘是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程，属于非传统的数据处理。相对于传统ET ...
分类：
其他好文 时间：
2017-08-11 14:38:54
阅读次数：
193
基于python对淘宝模特个人信息进行筛选爬取，数据清洗，持久化写入mysql数据库.使用django对数据库中的数据信息筛选并生成可视化报表进行分析。数据爬取，筛选，存库：#-*-coding:utf-8-*-
importrequests
frombs4importBeautifulSoup
importsys
importre
reload(sys)
sys.set..
分类：
编程语言 时间：
2017-08-04 09:58:03
阅读次数：
328
说着说着在华为实习有三周了，但是感觉自己没有做出什么事情。 自己的任务还是做硬件单元测试数据平台，但是自己现在还没有把页面设计好，硬件该怎么配置也没有想好。 觉得在这边实习自己成长比较慢，自己的感觉很迷乱。 我本来是做java后台的，想着纯写java的代码，但是自己现在没有写自己的java代码，而是 ...
分类：
其他好文 时间：
2017-07-28 20:02:03
阅读次数：
155
一、kafka、zookeeper分布式集群简介一句话概括kafka：kafka是一个具备很强容错能力和实时处理能力的分布式流数据平台。Kafka的应用场景：kafka可在以下场景中应用：基于流数据的发布订阅消息系统、基于流数据的高效异步通信中间件、基于流数据的高可用分布式存储；可以替代传..
分类：
其他好文 时间：
2017-07-25 19:37:10
阅读次数：
249
目前服务器的主流CPU是intel或者AMD。到底主频是什么。多核、多线程、并发、并行、超频、一级缓存、二级缓存、三级缓存。i386、x86cpu：含有算术逻辑、控制、记忆等单元频率：就是CPU每秒钟可以进行的工作次数。3.0GHz这个CPU在一秒内进行3.0*10(9)外频：CPU与外部组件进行数据..
分类：
系统相关 时间：
2017-07-21 21:51:58
阅读次数：
175
