1、创建一个套接字 1.1 zmq_socket（3） 1.1.1 名称 zmq_socket - 创建ZMQ套接字 1.1.2 概要 void * zmq_socket（void * context，int type）; 1.1.3 描述 zmq_socket（）函数将在指定的上下文中创建一个ZM ...
参考来源：http://www.yiibai.com/spark/ 概述 Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。Spark的主要特征是其内存集群计 ...
分类：
其他好文 时间：
2018-04-14 00:36:26
阅读次数：
178
GRPC是google开源的一个高性能、跨语言的RPC框架，基于HTTP2协议，基于protobuf 3.x，基于Netty 4.x +。GRPC与thrift、avro-rpc等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。（如下描述，均基于JAVA语言的实现） 对于开 ...
分类：
其他好文 时间：
2018-04-13 14:34:17
阅读次数：
1275
一、Apache Storm Storm是一个分布式的，可靠的，容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout ...
分类：
Web程序 时间：
2018-04-11 15:55:21
阅读次数：
192
概述：Apache Beam WordCount编程实战及源代码解读,并通过intellij IDEA和terminal两种方式调试执行WordCount程序，Apache Beam对大数据的批处理和流处理，提供一套先进的统一的编程模型，并能够执行大数据处理引擎上。完整项目Github源代码 负责公 ...
分类：
Web程序 时间：
2018-03-31 14:16:24
阅读次数：
345
1.Scrapy是蜘蛛爬虫框架，我们用蜘蛛来获取互联网上的各种信息，然后再对这些信息进行数据分析处理。 2.Scrapy的组成 引擎：处理整个系统的数据流处理，出发事务 调度器: 接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回 下载器: 下载网页内容，并将网页内容返回给蜘蛛 蜘蛛: 蜘 ...
分类：
其他好文 时间：
2018-03-27 14:27:43
阅读次数：
133
Python之日志处理（logging模块） 本节内容 日志相关概念 logging模块简介 使用logging提供的模块级别的函数记录日志 logging模块日志流处理流程 使用logging四大组件记录日志 配置logging的几种方式 向日志输出中添加上下文信息 参考文档 一、日志相关概念 日 ...
分类：
编程语言 时间：
2018-03-26 13:52:11
阅读次数：
185
sed主要内容和原理介绍 sed 流处理编辑器 sed一次处理一行内容，读入一行处理一行 sed不改变文件内容（除非重定向） sed 命令行格式 sed [options] 'command' file(s) (option：参数 ，command 操作命令 ，file操作文件命令) 脚本格式 se ...
分类：
系统相关 时间：
2018-03-23 15:22:23
阅读次数：
253
Flink简介 Flink组件栈 Flink特性 流处理特性 API支持 Libraries支持 整合支持 Flink概念 Stream、Transformation、Operator Parallel Dataflow Task、Operator Chain Window Time Flink架构 ...
分类：
其他好文 时间：
2018-03-17 16:15:41
阅读次数：
175
流是一系列数据项，一次只生成一项。 Java 8新增的编程概念：流处理，通过API来传递代码，函数式编程。 ：：语法："把这个方法作为值"。 函数式编程风格：编写把函数作为一等值的程序。 谓词（Predicate）：谓词接受一个参数值，并返回true或false。Predicate<T>是更标准的方 ...
分类：
编程语言 时间：
2018-03-11 21:10:26
阅读次数：
204
