1. 大数据处理流程 大数据处理的根本目的是从海量 异质 数据中 挖掘知识 ，包含了数据源收集、数据存储管理、数据分析与挖掘以及数据展现与获取等几个 序列进行 的步骤，如图1: 图1 大数据处理流程的整体架构 1.1 数据源 原始数据来源各异，很多数据形式不规整，包含噪音，因此首先需要从原始数据中进 ...
分类：
其他好文 时间：
2020-02-08 17:48:25
阅读次数：
68
一、JAVA流式输入/输出原理二、输入输出流分类三、节点流和处理流3.1.节点流类型3.2.处理流类型四、InputStream(输入流)4.1.InputStream的基本方法五、OutputStream(输出流)5.1.OutputStream的基本方法六、Reader流6.1.Reader的基 ...
分类：
编程语言 时间：
2020-02-08 17:45:25
阅读次数：
80
安卓中的消息处理机制主要涉及到5个概念 （1）消息类:Message,可以理解成一个数据单元； （2）消息队列类:Message Queue,存放通过Hander发布的消息，处理顺序类似于队列，按照先进先出的顺序执行； （3）消息操作类:Handler,用于处理包装在Message中的数据； （4） ...
分类：
移动开发 时间：
2020-02-01 19:27:32
阅读次数：
112
数据密集型应用特点 需求 存储数据，以便自己或其他应用程序之后能再次找到——数据库 记住开销昂贵操作的结果，加快读取速度——缓存 允许用户按关键字搜索数据，或以各种方式对数据进行过滤——搜索索引 向其他进程发送消息，进行异步处理——流处理 定期处理累积的大批量数据——批处理 关于数据系统的思考 数据 ...
分类：
其他好文 时间：
2020-01-29 10:34:29
阅读次数：
122
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2020-01-26 19:02:37
阅读次数：
63
主要介绍SDN架构和转发模型 一：传统网络设备 （一）传统设备控制平面和数据平面 （二）数据平面的任务 数据平面对数据包的处理，主要通过查询由控制平面所生成的转发信息表来完成 （三）传统网络数据平面数据包的处理流程 （四）传统网络数据转发处理特点 比如某一设备的数据平面，只能对某几种特定协议的数据包 ...
分类：
其他好文 时间：
2020-01-23 15:23:19
阅读次数：
95
上一篇文章，我们从框架层面，主要介绍了redis的启动过程，以及主要的命令处理流程逻辑。这些更多的都是些差不多的道理，而要细了解redis，则需要更细节的东西。 今天我们稍微内围的角度，来看看几个命令执行的重要方法，深入理解下redis的魅力所在。 首先，我们通过上一章知道，processComma ...
分类：
其他好文 时间：
2020-01-20 21:17:52
阅读次数：
101
实现效果： 组件处理流程： 导入源表source ID input|output s-1 Name input|output s-2 City input|output s-3 Sales input|output s-4 创建express组件，并连接source s-1 --> ID input ...
分类：
其他好文 时间：
2020-01-20 14:43:21
阅读次数：
71
RemotingCommand: flag倒数第一位表示请求类型，0请求1返回。倒数第二位1.表示oneway 单条消息发送时，消息体的内容将保存在body种，批量消息发送，需要将多条消息体的内容存储在body中，RocketMQ采取的方式是，对单条消息内容使用固定格式进行存储 ...
分类：
其他好文 时间：
2020-01-17 00:15:26
阅读次数：
90
https://blog.csdn.net/qq_34777600/article/details/87165765 概述在大数据的浪潮之下，技术的更新迭代十分频繁。受技术开源的影响，大数据开发者提供了十分丰富的工具。但也因为如此，增加了开发者选择合适工具的难度。在大数据处理一些问题的时候，往往使用 ...
分类：
Web程序 时间：
2020-01-16 22:08:59
阅读次数：
115
