Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。Nutch诞生于2002年8月，是Apache旗下的一个用Java实现的开...
分类：
编程语言 时间：
2015-08-11 07:16:12
阅读次数：
198
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战课程针对人群1、本课程适合于有一定java基础知识。对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士2、最好有Greenplum Hadoop、Hadoop2.0、Y...
分类：
其他好文 时间：
2015-08-10 21:59:28
阅读次数：
139
一、#Set the right GC options based on the what we are runningdeclare -a server_cmds=("master" "regionserver" "thrift" "thrift2" "rest" "avro" "zookeepe...
分类：
系统相关 时间：
2015-08-04 19:05:46
阅读次数：
150
Mahout推荐算法API详解Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oo...
分类：
编程语言 时间：
2015-07-20 19:20:32
阅读次数：
168
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d...
分类：
Web程序 时间：
2015-06-16 14:45:05
阅读次数：
188
Flume SourceSource类型说明Avro Source支持Avro协议（实际上是Avro RPC），内置支持Thrift Source支持Thrift协议，内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系统（消息、主题）中读取数...
分类：
Web程序 时间：
2015-06-08 16:37:39
阅读次数：
270
Flume Source 实例Avro Source监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sourc...
分类：
Web程序 时间：
2015-06-08 16:29:30
阅读次数：
161
Flume知识点：Event 是一行一行的数据
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro...
分类：
Web程序 时间：
2015-05-30 19:55:17
阅读次数：
155
近日，在测试Flume结合Kafka结合SparkStreaming的实验。今天把Flume与Spark的简单结合做出来了，这里记录一下，避免网友走弯路。有不周到的地方还希望路过的大神多多指教。实验比较简单，分为两部分：一、使用avro-client发送数据二、使用netcat发送数据首先Spark程序需要Flume..
分类：
Web程序 时间：
2015-05-19 07:32:40
阅读次数：
1969
先贴上异常信息 1 08 May 2015 17:55:23,751 WARN [New I/O worker #1] (org.apache.flume.source.AvroSource.append:350) - Avro source r1: Unable to process eve...
分类：
Web程序 时间：
2015-05-15 17:09:08
阅读次数：
437
