了解hadoop,首先就需要先了解hadoop的数据流,就像了解servlet的生命周期似的。hadoop是一个分布式存储(hdfs)和分布式计算框架(mapreduce),但是hadoop也有一个很重要的特性:hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。...
分类:
其他好文 时间:
2014-10-15 12:01:40
阅读次数:
199
项目地址:https://sourceforge.net/projects/sharpserialization/ 我们的实际工作中经常会遇到跨语言的交互,如Java-C#-C++等,大部分情况下通过Xml、Json数据交换等协议可以很好的处理对象的交互,但有时我们希望数据流变得更小,...
Dicom全称是医学数字图像与通讯,这里讲的暂不涉及通讯那方面的问题 只讲*.dcm 也就是diocm格式文件的读取,读取本身是没啥难度的 无非就是字节码数据流处理。只不过确实比较繁琐。
好了 正题
分析
整体结构先是128字节所谓的导言部分,说俗点就是没啥意义的破数据 跳过就是了,然后是dataElement依次排列的方式 就是一个dataElement接一个dataEleme...
分类:
其他好文 时间:
2014-10-14 02:25:37
阅读次数:
1650
地位:要说数据流图首先从系统的结构化分析方法说起,结构化分析方法是一种面向数据流的需求分析方法,其基本思想是“自顶向下逐层分解”。而数据流图是结构化分析方法中的一项重要的内容。
基础:简单的说数据流图是一种分析系统数据流程的图形工具,主要从逻辑上描述系统的功能,输入,输出和数据存储。...
分类:
其他好文 时间:
2014-10-14 00:28:07
阅读次数:
198
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统,可以对多种数据源(如Kdfka、Flume、Twitter、Zero和TCP 套接字)进行类似map、reduce、join、window等复杂操作,并将结果保存到外部文件系统、数据库或应用到实时仪表盘。Spark S...
分类:
Web程序 时间:
2014-10-13 22:30:37
阅读次数:
500
上文《.Net中的并行编程-3.ConcurrentQueue实现与分析》分析了ConcurrentQueue的实现,本章就基于ConcurrentQueue实现一个高性能的异步队列,该队列主要用于实时数据流的处理并简化多线程编程模型。设计该队列时考虑以下几点需求(需求来自公司的一个实际项目): 1...
分类:
Web程序 时间:
2014-10-13 00:42:58
阅读次数:
239
DataInputStream和DataOutputStream类提供了一些方法,可以用二进制格式读/写Java的基本数据类型和字符串。所用的二进制格式主要用于在两个不同的Java程序之间交换数据(可能通过网络连接、数据文件、管道或者其他...
分类:
其他好文 时间:
2014-10-12 20:55:08
阅读次数:
240
数据流图的画法数据流图也称为数据流程图date flow diagram , DFD,是一种便于用户理解和分析系统数据流程的图形工具,他摆脱了系统和详细内容,精确的在逻辑上描写叙述系统的功能、输入、输出和数据存储等,是系统逻辑模型的重要组成部分。数据流图的基本组成成分数据流:是由一组固定成分的数据组...
分类:
其他好文 时间:
2014-10-12 14:29:28
阅读次数:
205
1、数据库是一个结构化的数据集合; 2、数据环境是对象,关系是数据环境中的对象; 3、在结构化方法中,用数据流程图(DFD)作为描述工具的软件开发阶段是:需求分析 4、在软件生命周期中,能准确地确定软件系统必须...
分类:
数据库 时间:
2014-10-12 14:20:08
阅读次数:
238
Rsync(remotesync)是UNIX及类UNIX平台下一款神奇的数据镜像备份软件,它不像FTP或其他文件传输服务那样需要进行全备份,Rsync可以根据数据的变化进行差异备份,从而减少数据流量,提高工作效率。你可以使用它进行本地数据或远程数据的复制,Rsync可以使用SSH安全隧道进行加密..
分类:
其他好文 时间:
2014-10-12 02:19:57
阅读次数:
351