因为TCP是流式处理的，所以包没有边界，必须设计一个包头，里面表示包的长度（一般用字节表示），根据这个来逐个拆包。如果对于发送/接收频率不高的话，一般也就不做拆包处理了，因为不大可能有粘包现象。以下是粘包和拆包的分析：http://blog.csdn.net/zhangxinrun/article/...
分类：
其他好文 时间：
2015-08-18 18:14:36
阅读次数：
99
近期也有开始研究使用spark streaming来实现流式处理。本文以流式计算word count为例，简单描述如何进行spark streaming编程。1. 依赖的jar包参考《分别用Eclipse和IDEA搭建Scala+Spark开发环境》一文，pom.xml中指定依赖库spark-str...
分类：
其他好文 时间：
2015-08-08 01:16:50
阅读次数：
152
背景 相对于传统的Hadoop这样的batch分析平台，流式分析的优点就是实时性， 即可以在秒级别延迟上得到分析结果 。 当然缺点是, 很难保证强一致性，即Exactly-Once语义 （在海量数据的前提下，为了保障吞吐量，无法使用类似事务的强一致性的方案）。 一般流式分析平台都会promise较弱...
分类：
其他好文 时间：
2015-07-30 16:40:40
阅读次数：
367
转载自http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/流式处理大数据简介Storm 是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。了解 Twitter Storm、它的架构，以及批处...
分类：
其他好文 时间：
2015-07-28 20:16:33
阅读次数：
120
http://tech.uc.cn/?p=2159诞 生 在2011年Storm开源之前，由于Hadoop的火红，整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。 ....
分类：
其他好文 时间：
2015-07-02 17:16:58
阅读次数：
165
TCP应用程序通信协议的处理flyfish 2015-6-29一 流式处理
TCP是一种流协议（stream protocol）。TCP数据是以字节流的形式传递给接收者的，没有固有的”报文”或”报文边界”或者用户可见的”分组”的概念。
它只是传送了一个字节流，我们无法准确地预测在一个特定的读操作中会返回多少字节。尽管网络层数据在节点之间是以IP分组的形式传输的，但分组中的数据量与send调用中传...
分类：
其他好文 时间：
2015-06-30 00:06:17
阅读次数：
131
OWIN轻量型框架介绍阅读目录引言框架的特色如何启动各项功能静态路由的3种写法伪静态路由的支持处理Form表单提交的文件流式处理Post请求的数据多种请求类型自动识别响应处理请求响应上下文自定义默认处理函数内置各种便捷函数复合类型的请求处理框架的扩展静态内容的支持跨域Post的支持基础类型继承灵活处...
分类：
Windows程序 时间：
2015-06-17 00:13:29
阅读次数：
2510
阅读目录引言框架的特色如何启动各项功能静态路由的3种写法伪静态路由的支持处理Form表单提交的文件流式处理Post请求的数据多种请求类型自动识别响应处理请求响应上下文自定义默认处理函数框架的扩展静态内容的支持跨域Post的支持基础类型继承灵活处理尾声回到顶部引言 什么是OWIN，我就不介绍了，请自....
问题导读：1.你认为什么图形可以显示hadoop与storm的区别？（电梯）2.本文是如何形象讲解hadoop与storm的？（离线批量处理、实时流式处理）3.hadoop map/reduce对应storm那两个概念？（spout/bolt）4.storm流由谁来组成？（Tuples）5.tupl...
分类：
其他好文 时间：
2015-05-12 22:38:16
阅读次数：
158
我的上一篇BLOG《大数据处理的两种模式》，谈了大数据基于内存的流式处理和基于硬盘的存储处理。比较这两种处理模式，因为内存的处理性能是硬盘的N个量级，所以流式处理效率要远远高于存储处理，但是流式处理本身有一个缺点，或者说是隐忧，上次没有提到，今天来说一下。...
分类：
其他好文 时间：
2015-05-04 08:38:35
阅读次数：
102
