Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
一、消息队列的特性 业务无关，一个具有普适性质的消息队列组件不需要考虑上层的业务模型，只做好消息的分发就可以了，上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。 FIFO，先投递先到达的保证是一个消息队列和一个buffer的本质区别。 容灾，对于普适的消息队列组件来说，节点的动态增删和消 ...
分类：
其他好文 时间：
2020-09-18 01:55:33
阅读次数：
32
概述秒杀系统的特征就是瞬间流量大、商品总是有限先到先得、有明确的开始和结束时间。方案秒杀的时候，先是要在后台设置秒杀库存，秒杀价格，秒杀开始时间和时间，需要参与秒杀的店铺，到了时间就开始进行秒杀，秒杀的时候，会有突发流量，系统如果设置不好，就会瘫痪，一般会进行限流，比如接入端限流，服务端限流，利用缓存、消息队列提高处理速度；其中一个最难处理的问题就是库存的扣减，防止超卖，防止超卖的方法有很多种,对
分类：
其他好文 时间：
2020-09-18 00:40:39
阅读次数：
33
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定
分类：
其他好文 时间：
2020-09-17 23:41:36
阅读次数：
33
vhost是什么，能给项目配置带来什么好处?1、vhost是一个微型的消息队列服务器，它拥有自己的队里、绑定、交换器、权限控制，一个项目在不同的环境可以使用不同的vhost，比如开发环境用的是order.dev,测试环境用的是order.test,通过配置文件读取不同的配置。2、vhost通过在各个实列间提供逻辑上的分离，比如订单服务和营销服务，可以使用不同的虚拟主机，进行各自的队列配置，保证了不
分类：
其他好文 时间：
2020-09-17 20:33:07
阅读次数：
34
Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
1.kafka是一个分布式的消息队列，缓存系统，消息的发布和订阅系统。 2.始于Linkedin公司，开源于apache。 3.包含生产者，消费者，broker。 4.每秒支持百万消息处理。 5.支持多个生成者，多个消费者，多个broker 6.生成者产生数据，按topic分类数据，对数据进行分区， ...
分类：
其他好文 时间：
2020-09-17 13:42:05
阅读次数：
36
kafka是很流行的一款消息队列和流处理组件，其生态非常丰富，今天只简单介绍一下它的安装。 一. Zookeeper安装 kafka高度依赖于Zookeeper做集群协调和分布式存储，当然kafka社区正在逐渐去掉对Zookeeper的依赖，不过至今你还是需要Zookeeper。 下载清华镜像：ht ...
虚拟币交易所作为整个区块链行业发展过程中的资金与信息导流入口，也是数字加密资产市场价值迸发的助推动力，理应服务于广大投资者的根本利益，为优质区块链项目提供良好便捷的融资环。虚拟币交易所开发有哪些类型模式？1.币币交易：交易所开发V：jys-wu指虚拟货币之间（如用比特币购买以太币或反之）的交易。法币交易和币币交易可通过场外或场内的交易方式进行。2.场内交易：又称交易所交易；在虚拟货币交易平台上进行
分类：
其他好文 时间：
2020-09-17 13:07:34
阅读次数：
28
机器为172.25.1.23172.25.1.24172.25.1.28可以在/conf/users.properties中寻找http://172.25.1.28:8161/index.htmladminadminTCP端口61616(主从集群172.25.1.23,172.25.1.24,172.25.1.28)管理端口8161软件下载zookeeper下载地址:https://mirror.
分类：
其他好文 时间：
2020-09-17 13:05:39
阅读次数：
28
