Spark Streaming 是基于spark的流式批处理引擎,其基本原理是把输入数据以某一时间间隔批量的处理,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。本节描述了Spark Streaming作业的执行流程。图1 Spark Streaming作业的执行流程具体流程:客户端提交作业后启...
分类:
其他好文 时间:
2014-08-30 13:52:19
阅读次数:
292
套接字简介:套接字最早是Unix的,window是借鉴过来的。TCP/IP协议族提供三种套接字:流式、数据报式、原始套接字。其中原始套接字允许对底层协议直接访问,一般用于检验新协议或者新设备问题,很少使用。套接字编程原理:延续文件作用思想,打开-读写-关闭的模式。C/S编程模式如下:服务器端:打开通...
分类:
其他好文 时间:
2014-08-29 12:58:47
阅读次数:
310
1.3 实现超链接在网络应用过程中,特别是在Web程序中,超级链接用得非常普遍。其实使用VC技术,也可以实现超级链接功能。在本节的内容中,将介绍使用Visual C++ 6.0开发一个实现超级链接功能的应用程序。在开始之前,首先简单介绍与之相关的基础知识。1.3.1 数据报套接字编程流式套接字主要用...
分类:
其他好文 时间:
2014-08-27 14:39:27
阅读次数:
320
1.2 获取网络中计算机的IP地址和计算机名在开发网络应用的过程中,经常需要获取网络中某台计算机的IP地址和计算机名称。在本节的内容中,将介绍如何使用Visual C++ 6.0开发一个实现上述功能的应用程序。1.2.1 流式套接字编程(1)网络数据的传输是通过套接字实现的。套接字有3种类型:流式套...
分类:
其他好文 时间:
2014-08-27 12:38:19
阅读次数:
280
Java输入输出流分类:Java2012-04-01 11:2819529人阅读评论(6)收藏举报java网络存储磁盘jdkio目录(?)[-]什么是IO数据流的基本概念数据流输入流Input Stream输出流数据流分类标准IO命令行参数标准输入输出数据流javaIO层次体系结构非流式文件类--F...
分类:
编程语言 时间:
2014-08-25 19:12:04
阅读次数:
334
栅格系统 Bootstrap 提供了一套响应式、移动设备优先的流式栅格系统,随着屏幕或视口(viewport)尺寸的增加,系统会自动分为最多12列。它包含了易于使用的预定义类,还有强大的mixin 用于生成更具语义的布局。 栅格系统用于通过一系列的行(row)与列(column)的组合来创建页面.....
分类:
其他好文 时间:
2014-08-24 12:52:52
阅读次数:
159
一 三种类型的套接字:1.流式套接字(SOCKET_STREAM)提供面向连接的可靠的数据传输服务。数据被看作是字节流,无长度限制。例如FTP协议就采用这种。2.数据报式套接字(SOCKET_DGRAM)提供无连接的数据传输服务,不保证可靠性。3.原始式套接字(SOCKET_RAW)该接口允许对较低...
分类:
其他好文 时间:
2014-08-19 18:40:55
阅读次数:
184
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会...
分类:
其他好文 时间:
2014-08-19 13:03:24
阅读次数:
475
TCP是流式协议,不保证一次通信传输完整的包,当这种情况发生在mina-http时会产生严重的bug,图中红框部分只是将前后收到的数据拼在一起,但下面处理的还是最近收到的不完整的msg;此为大坑! 轻则不能正常处理http请求,重则由于mina-http内部使用状态机解析http请求,会导致内...
分类:
其他好文 时间:
2014-08-18 20:22:32
阅读次数:
233
现在返回来看之前一直觉得迷迷糊糊的IO这一部分,顿时真的觉得阔然开朗。所以现在觉得自学的顺序应该是这样的,先过一遍基本的知识体系,然后通过实践、练习和项目来巩固,最后再回头复习这些知识点,真的会有不一样的体会。下面稍稍对自己了解到Java的IO体系做一个小小总结。1.Java流式输入/输出的原理.....
分类:
编程语言 时间:
2014-08-18 00:08:03
阅读次数:
237