Hadoop日志分析系统启动脚本
#!/bin/bash
#Flume日志数据的根目录
root_path=/flume
#Mapreduce处理后的数据目录
process_path=/process
#hive分区时间
partition=`date "+%Y-%m-%d"`
#获取前一小时的时间:/YYYY-MM-DD/HH
file_path=`date -d "1 hour ...
分类:
其他好文 时间:
2014-10-16 19:41:13
阅读次数:
202
1.Splunk接收器开启在Splunk服务器安装目录,执行./splunkenablelisten9997–auth<username>:<password>Username默认为splunkweb登陆用户名Password默认为splunkweb登陆密码./splunkenablelisten9997–authadmin:changme2.Splunk转发器安装(Linux下安装,Windows的..
分类:
其他好文 时间:
2014-09-03 15:08:37
阅读次数:
276
实验2配置AWStats日志分析系统实验环境在虚拟机Linux6.5系统下需要2台Linux系统一台A作为服务端一条B作为测试客户端win7真实主机开启2台Linux系统。实验目标A作为服务端配置VSFTPD服务器实现FTP服务。B作为测试客户端验证服务器A的共享是否有效。配置真实主机确保真实主机能pin..
分类:
其他好文 时间:
2014-08-24 04:07:32
阅读次数:
258
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群,只需把下好的文件...
分类:
Web程序 时间:
2014-07-21 10:21:45
阅读次数:
206
简介通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候,也就是出现问题的时候,这个渐进的过程就开始了。日志管理一般会经历一下3个阶段:初级管理员将通过一些传统工具(如cat、tail、sed、awk、perl以及grep)对日志进行检查,但它的适用范围仅限于少量的主机和日志文件类型;考虑到现实中...
分类:
其他好文 时间:
2014-05-09 08:18:10
阅读次数:
651