5、自定义SDK，使用xmlReader文件流式处理 第四章节中，总是感觉用别人的工具要受制于人。既然我 们知道了Excel的存储方式，问题便转换成从xml中取出数据，然后放入内存得到我们想要的东西，更重要的是，官方的sdk对xml的读取采用的 Document的方式，对于大文件xml执行速度必然降 ...
上讲，讲述了大概九种的技术种类以及他们的领域。那么既然有吃饭的，那就必须有做饭的。因此大数据技术结构的选型，必须有的组成部分至少三种（来源、计算、存储） 最简单的数据处理架构： 最少单元的数据处理方案，当然这个不是最好的，为什么呢，问题： 1.流式处理数据（Streaming）时，数据量小时，数据存 ...
分类：
其他好文 时间：
2016-07-05 22:35:03
阅读次数：
214
聚焦在 Twitter 上关于Apache Spark的数据, 这些是准备用于机器学习和流式处理应用的数据。 重点是如何通过分布式网络交换代码和数据，获得 串行化, 持久化 , 调度和缓存的实战经验 。 认真使用 Spark SQL, 交互性探索结构化和半结构化数据. Spark SQL 的基础数据结构是?Spark dataframe， Spark dataframe 受到了...
分类：
编程语言 时间：
2016-05-22 12:21:51
阅读次数：
370
前面我们谈论了Flink stream中的transformation。你可以将transformation看成编写Flink程序并构建流式处理程序的必要组成部分（静态表现形式）；而本篇我们将探讨transformation在Flink运行时对应的动态表现形式——operator。...
分类：
Web程序 时间：
2016-05-22 12:17:28
阅读次数：
294
最近在看消息队列框架 ，alibaba的RocketMQ单机支持1万以上的持久化队列，支持诸多特性， 目前RocketMQ在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景 比kafka还是有过之无不及，其实kafka文档很丰富 但RocketMQ网上的 ...
分类：
其他好文 时间：
2016-05-15 19:33:45
阅读次数：
1784
中间件在接受请求的时间点及正式处理请求到发送响应时点之间提供附加功能。Express的connect模块提供了中间件框架，通过它可以方便地在全局或路径级别或给单个路由插入中间件功能。下面是一些由Express支持的中间件组件：
中 间 件
说 明 static
允许Express服务器以流式处理静态文件的GET请求。这个中间件是Express内置的，它可以通过express.stati...
分类：
其他好文 时间：
2016-05-13 03:47:47
阅读次数：
161
谈谈当下火热的流式计算，以及它在大数据体系中的利与弊，优点与缺点。...
分类：
其他好文 时间：
2016-05-12 23:09:31
阅读次数：
150
Laxcus大数据管理系统2.0版本推出有两个多月了，最近做了一次使用情况调查，发现最受欢迎的竟是流式处理。这大大出乎我们推出新版本时的预料。因为当时新版本推出时，流式处理只是做为磁盘数据处理的一项辅助功能而附带提供的，而且最初设计流式处理时，技术上也并没有花太多心思，因为它很容易实现，只是改变一下 ...
分类：
其他好文 时间：
2016-05-12 08:00:13
阅读次数：
190
背景：
使用Spark主要是使用Spark Streaming，Spark Streaming的魔力之所在于： 1. 流式处理，如今是一个流处理时代，一切与流不相关的都是无效的数据。 2. 流式处理才是真正的对大数据的印象。Spark Streaming的流式处理非常强大的一个功能是可以在线处理，ML，Spark SQL等流进来的数据，这也是Spark提供的一体化，多元...
分类：
其他好文 时间：
2016-05-06 16:26:38
阅读次数：
176
从spark框架的角度来说，spark包含了如下图所示的功能:
从最近spark发布的几个版本来看，GraphX一直没有大的变化，MLlib涉及大量的数学，spark sql则是涉及了大量的sql的优化，所以如果要从某一个子框架来彻底研究spark 那么，spark streaming子框架是最好的切入口。因为本身它就很像是spark core 的一个应用程序。2015年是流式处理的...
分类：
其他好文 时间：
2016-05-03 18:35:44
阅读次数：
155
