import urllib2 as urlimport reurls = 'http://www.php100.com/html/it/'headers = {'User-Agent':'Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2...
分类：
编程语言 时间：
2015-06-17 00:26:10
阅读次数：
187
Flume NG有4个主要的组件：
Event表示在Flume各个Agent之间传递的数据流
Source表示从外部源接收Event数据流，然后传递给Channel
Channel表示对从Source传递的Event数据流的临时存储
Sink表示从Channel中接收存储的Event数据流，并传递给下游的Source或者终点仓库
这篇看一下Event接口表示的数据流。Source, ...
分类：
Web程序 时间：
2015-06-16 16:52:55
阅读次数：
178
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d...
分类：
Web程序 时间：
2015-06-16 14:45:05
阅读次数：
188
[Author]: kwu --- CentOS6.6安装CM5.4的问题，在安装cloudera-scm-agent时出现异常，提示缺少类库。...
分类：
其他好文 时间：
2015-06-16 11:05:43
阅读次数：
137
环境：CentOS6.5（最小化安装）执行截图：#!/bin/bash
#date:2015-6-14
#author:yfshare
#mail:838554604@qq.com
echo‘‘
echo-e"\t###########################################################"
echo-e"\t###\t\t\t\t\t\t\t###"
echo-e"\t###\twelcometouseZabbix&NginxI..
分类：
其他好文 时间：
2015-06-16 01:28:28
阅读次数：
302
公司使用到阿里云.需要使用ssh-agent forward 来跳转.为了方便自己就写了这个脚本1 #!/bin/sh2 # auto start ssh-agent and add key关于SSH-agent的使用,大家可以百度.一搜一堆..简单的介绍下: P-B-C你从P连接到C必须经过B,这...
分类：
其他好文 时间：
2015-06-15 20:08:14
阅读次数：
218
一、Zabbix简介:1、zabbix的概述Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。Zabbix主要由2部分构成，分别是..
分类：
其他好文 时间：
2015-06-15 16:44:12
阅读次数：
268
1.configure: error: MySQL library not found MySQL library not found
apt-get install libmysqlclient-dev
2.configure: error: Invalid Net-SNMP directory - unable to find net-snmp-config
apt-get install...
分类：
系统相关 时间：
2015-06-15 16:25:26
阅读次数：
177
向CDH5集群中添加新的主机节点步骤一：首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python.步骤二：上传cloudera-manager文件到/opt目录，修改agent配置文件： ....
分类：
其他好文 时间：
2015-06-15 16:12:16
阅读次数：
6775
$inwechat = false;$user_agent = $_SERVER['HTTP_USER_AGENT'];if (strpos($user_agent, 'MicroMessenger') === false) { // 非微信浏览器禁止浏览 $inwechat = false;}.....
分类：
Web程序 时间：
2015-06-15 13:04:29
阅读次数：
104
