Splunk运维智能与大数据分析视频教程第一部分入门系列即将在51CTO学院发布！Splunk是企业级的运维智能与数据分析平台，它以搜索引擎的方式来处理海量的机器数据，结合其荣获专利的SPL搜索语言和可视化技术，IT人员可以快速上手分析各种类型的日志数据。Splunk入门系列课程包括..
分类：
其他好文 时间：
2016-08-02 17:28:57
阅读次数：
122
最近在学习Splunk，这篇文章可以让我们对Splunk有大概的了解。Splunk是什么？Splunk Enterprise 是用于搜索、分析和可视化机器数据的软件平台，所谓机器数据，是指IT基础架构或企业内网站、应用程序、传感器、网络设备等生成的数据。在您定义数据源后，Splunk Enterpr...
分类：
其他好文 时间：
2015-04-15 16:37:15
阅读次数：
228
简述情景：
1. 最开始出现邮件报警，db进程内存超过5G。
2. 1小时后，db宕机
3. 检查日志，发现mysql语句执行很慢。从18:30开始出现日志警告。
写了个程序测数据库执行速度。连本机数据库执行1000条语句，时间500ms左右。连其他机器数据库执行1000条语句，时间8s左右。服务器的数据库执行线程500ms执行一次，也就是说一旦一次的执行时间超过500ms，而且s...
分类：
数据库 时间：
2015-02-06 18:56:39
阅读次数：
173
ELK可以完成如下功能：l根据关键字查询日志详情l监控系统的运行状况l统计分析，比如接口的调用次数、执行时间、成功率等l异常数据自动触发消息通知l基于日志的数据挖掘ELK可以实现Splunk 基本功能Splunk是机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备（物理...
分类：
其他好文 时间：
2015-01-17 15:07:25
阅读次数：
480
大数据中90%的数据属于机器数据。除了来自于服务器、存储、网络中的传统IT数据以外，来自移动互联网、物联网中的大量非结构化数据也都属于机器数据。相比数据库数据，机器大数据具有数量大、增长速度快、复杂性高、多样化等特点，但是价值密度略低。Splunk就是一家专注于处理机..
分类：
其他好文 时间：
2014-10-30 01:59:48
阅读次数：
166
遇到一个问题:从A机器数据库 根据用户导出该用户下的所有对象，然后拿到B机器导入相应的库，导入之前建立了相应的用户和默认的表空间（同A的表空间一样）。执行导入的时候出现一个错误，提示缺少xxx表空间，导致其中一张表导入不了，其他的成功.--------------------------------...
分类：
其他好文 时间：
2014-09-02 19:36:05
阅读次数：
250
在学习Hadoop之前，先了解一下大数据相关的知识：1.大数据背景大数据的产生：众所周知，随着信息社会的快速发展，信息量以爆发式的速度增长，这些信息包括来自互联网的大数据、大量传感器的机器数据、行业的内容数据。这些数据的特征表现为数据量大，一般为TB级或PB级甚至更大..
分类：
其他好文 时间：
2014-08-24 19:31:13
阅读次数：
203
mapreduce数据本地化（核心特征）、无共享。
1 HDFS的设计
为了存储超大文件 流式访问（一次写入多次读取）商用硬件（不需要超豪华的机器）
2 数据快（block）
磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大？（最小化寻址开销）块抽象带来的好处（一个文件的...
分类：
其他好文 时间：
2014-05-06 23:26:24
阅读次数：
519
