From apacheAdvanced Spark Internals and Tuning – Reynold Xin –SLIDES|VIDEOSpark SQL – Michael Armburst –SLIDES|VIDEOSpark Streaming – Tathagata Das –S...
分类：
其他好文 时间：
2014-12-17 12:33:45
阅读次数：
174
STOMP，Streaming Text Orientated Message Protocol，是流文本定向消息协议，是一种为MOM(Message Oriented Middleware，面向消息的中间件)设计的简单文本协议。它提供了一个可互操作的连接格式，允许STOMP客户端与任意STOMP消...
分类：
其他好文 时间：
2014-12-16 22:16:34
阅读次数：
259
先来看一下一张技术的全景图，其中涉及内存计算的技术标成红色。 1）事务处理：主要分为Cache(Memcached, Redis, GemFire)、RDBMS、NewSQL(以VoltDB为首的)三部分，缓存和NewSQL数据库是关注的重点。2）流式处理：Storm本身只是计算的框架，而Spark-Streaming才实现了内存计算式的流处理。3）分析阶段的对比：Ø 通用处理：MapReduc...
分类：
其他好文 时间：
2014-12-13 15:11:40
阅读次数：
484
1.?sqoop导入mysql数据出错 ????用sqoop导入mysql数据出现以下错误： 14/12/03?16:37:58?ERROR?manager.SqlManager:?Error?reading?from?database:?java.sql.SQLException:?Streaming?result?set...
分类：
其他好文 时间：
2014-12-04 16:05:46
阅读次数：
199
这篇blog介绍 Jackson 的特点和使用方法Jackson支持三种使用方法流API（streaming api Incremental parsing/generation）JsonParse reads, JsonGenerator writes高效和part 1 json的用法类似，不好用...
分类：
Web程序 时间：
2014-11-23 17:26:49
阅读次数：
212
以前总是用java写一些MapReduce程序现举一个例子使用Python通过Hadoop Streaming来实现Mapreduce。 任务描述： HDFS上有两个目录/a和/b，里面数据均有3列，第一列都是id，第二列是各自的业务类型(这里假设/a对应a，/b对应b)，第三列是一个jso...
分类：
编程语言 时间：
2014-11-23 13:07:40
阅读次数：
270
commet又叫反向Ajax（Reverse Ajax）,或者server push 服务器推技术，在实时聊天和消息推送中应用的比较广，我们要了解反向Ajax、轮询（polling）、流（streaming）、Comet和长轮询（long polling），学习如何实现不同的反向Ajax通信技术，并...
分类：
Web程序 时间：
2014-11-19 15:43:06
阅读次数：
327
本篇文章学习了如何编写hadoop streaming程序，重点讲述了工作原理及用到的各种参数...
分类：
其他好文 时间：
2014-11-17 12:27:22
阅读次数：
171
hive streaming 报错的解决方案：1、把使用到hive streaming 的sql 分解，例如：select transform a,b,c,d using 'python cc.py' as (e,f) from table,分解成：select a,b,c,d from table...
分类：
其他好文 时间：
2014-11-14 15:37:33
阅读次数：
256
今天在用Streaming-Python处理一个MapReduce程序时，发现reducer失败，原因为耗费内存达到极限了！仔细查看代码时，发现有一个集合里保存着URL，而URL长度是比较长的，直接保存确实是耗费内存，于是想到用压缩存储，然后用的时候再解压，虽然处理时间增加，但是耗费内存大大降低！
具体就是使用zlib模块
import zlib
raw_data = "hello,wor...
分类：
编程语言 时间：
2014-11-08 07:06:23
阅读次数：
323
