Kafka作为一个流式数据平台，对开发者提供了三种客户端：生产者/消费者、连接器、流处理。本文着重分析这三种客户端的线程模型。看到最后的通常都有惊喜。消费者的线程模型0.8版本以前的消费者客户端会创建一个基于ZK的消费者连接器，一个消费者客户端是一个Java进程，消费者可以订阅多个主题，每个主题也可以多个线程。为了让消息在多个节点被分布式地消费，提高消息处理的吞吐量，Kafka允许多个消费者订阅同
分类：
编程语言 时间：
2019-01-05 12:17:14
阅读次数：
226
我们在上一篇文章中给大家介绍了批处理系统以及迭代计算系统。这两种方法都是比较抽象的，我们在这篇文章中给大家介绍一种Facebook经常使用的流式计算系统，希望这篇文章能够给大家带来帮助。 ...
分类：
其他好文 时间：
2019-01-04 14:45:25
阅读次数：
412
大数据的出现使得数据的处理效率提高不少，这得益于大数据的数据处理系统，而大数据的处理系统有很多。就目前而言，主要的大数据处理系统有数据查询分析计算系统、批处理系统、流式计算系统、迭代计算系统、图计算系统和内存计算系统。下面我们就给大家介绍一下数据查询分析计算系统。 ...
分类：
其他好文 时间：
2019-01-04 14:33:51
阅读次数：
565
package cn.itcast.bigdata.hdfs.diceng; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils... ...
分类：
其他好文 时间：
2019-01-03 21:40:42
阅读次数：
208
gRPC 基于如下思想：定义一个服务， 指定其可以被远程调用的方法及其参数和返回类型。gRPC 默认使用 protocol buffers 作为接口定义语言，来描述服务接口和有效载荷消息结构 grpc 支持定义四类服务方法：单向RPC、服务端流式RPC、客户端流式RPC、双向流式RPC 单项 RPC ...
分类：
其他好文 时间：
2019-01-03 11:02:29
阅读次数：
335
0. 什么时候该用什么布局 <!-- 定位布局: 以下两种布局不易解决的问题, 盒子需要脱离文档流处理 --> <!-- 浮动布局: 一般有block特性的盒子,水平排列显示 --> <!-- 盒模型布局: 在父级水平居中显示, 在其他布局基础上微调 --> <!-- 流式布局思想 --> 一.拼接 ...
分类：
编程语言 时间：
2019-01-01 23:54:36
阅读次数：
231
Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。 1、实现类 2、方法： ...
分类：
其他好文 时间：
2018-12-31 00:03:30
阅读次数：
340
刚刚说的：收集数据 - 放到DB中 - 取出来分析 的传统的流程，叫做批量计算，顾名思义，将数据存起来，批量进行计算。 而流式计算，也跟名字一样，是对数据流进行实时计算，它不是更快的批计算，可以说，是完全不同的处理思路。 通过与批量计算进行对比的方式，介绍下其原理： (1) 与批量计算那样慢慢积累数 ...
分类：
其他好文 时间：
2018-12-26 16:48:15
阅读次数：
469
一、概述：在日常的app使用中，我们会在android 的app中看见 热门标签等自动换行的流式布局，今天，我们就来看看如何 自定义一个类似热门标签那样的流式布局吧（源码下载在下面最后给出） 类似的自定义布局。下面我们就来详细介绍流式布局的应用特点以及用的的技术点： 1.流式布局的特点以及应用场景 ...
分类：
移动开发 时间：
2018-12-24 13:23:23
阅读次数：
158
1.什么是面向对象的mro 2.json序列化时，默认遇到中文会转换成unicode，如果想要保留中文怎么办？ 3.简述 yield关键字。 4.简述 OSI 七层协议。 5.什么是C/S和B/S架构？ 6.简述 三次握手、四次挥手的流程。 7.GIL锁是什么鬼 8.流式套接字有什么特点 9.如何在 ...
分类：
编程语言 时间：
2018-12-23 19:33:53
阅读次数：
209
