前言之前写过一篇《从源码分析如何优雅的使用Kafka生产者》，有生产者自然也就有消费者。建议对Kakfa还比较陌生的朋友可以先看看。就我的使用经验来说，大部分情况都是处于数据下游的消费者角色。也用Kafka消费过日均过亿的消息（不得不佩服Kakfa的设计），本文将借助我使用Kakfa消费数据的经验来聊聊如何高效的消费数据。单线程消费以之前生产者中的代码为例，事先准备好了一个Topic:data-p
分类：
其他好文 时间：
2020-12-16 12:08:05
阅读次数：
2
前言 不知你大规模的用过Redis吗？还是仅仅作为缓存的工具了？在Redis中使用最多的就是集合了，举个例子，如下场景： 签到系统中，一天对应一系列的用户签到记录。电商系统中，一个商品对应一系列的评论。交友系统中，某个用户的一系列的好友。 Redis中集合的特点无非是一个Key对应一系列的数据， 但 ...
分类：
其他好文 时间：
2020-12-08 13:09:21
阅读次数：
18
微软最终以75亿美元收购大型代码托管平台github，下图是微软首席执行官SatyaNadella的推文。此前，据BusinessInsider等多家媒体的报道，GitHub一直在与微软等公司进行有关收购的谈判。GitHub一直倾向于将自己出售给一家上市公司，而微软首席执行官SatyaNadella不同于以往的掌门人，对开源由抵制变为拥抱的态度促进了本次的交易。其实，微软和GitHub洽谈已有好几
分类：
其他好文 时间：
2020-11-30 15:55:23
阅读次数：
7
【北京·内推】信捷亿|中、高级Web前端工程师点击上面文字添加关注!推荐指数★★★★★有志者自有千计万计，无志者只感千难万难。#信捷亿内推职位web前端工程师【岗位职责】1、负责Web，App、微信端产品的前端技术选型和验证，输出技术方案2、负责持续优化统一前端开发框架的架构设计和实现，根据业务需求，模板化功能组件，封装高复用、可维护性好的前端组件，实现前端组件库积累发效率3、根据产品需求和原型，
分类：
Web程序 时间：
2020-11-30 15:49:32
阅读次数：
11
Snowflake已于2020年9月16日正式上市，市值超过700亿美元。该公司成立于2012年，致力于为企业提供数据云平台，帮助客户打破数据孤岛，方便企业运用和分享数据，并从中获得数据价值和商业洞见。Snowflake提供的产品技术服务在国内更多被称为数据中台。当然，它独特的技术优势是获得资本亲赖的原因之一。云端原生性Snowflake提出了data-warehouse-as-a-service
分类：
其他好文 时间：
2020-11-23 12:29:26
阅读次数：
4
一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。对于version+ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的“常用手
分类：
其他好文 时间：
2020-11-18 13:05:44
阅读次数：
10
一.数据类型的分类 Java是一种强类型语言，所有变量都需要先定义才能使用 基本数据类型 1.整数类型 byte占1个字节：-128~127 short占2个字节 int占4个字节：正负21亿 long占8个字节 2.浮点类型 float占4个字节 double占8个字节 3.字符类型 char占2 ...
分类：
编程语言 时间：
2020-11-17 12:30:11
阅读次数：
11
上次《百亿级数据DB秒级平滑扩容！》之后，很多朋友提问，说如果不是“双倍”扩容，能否做到平滑迁移，不影响服务呢？适用什么场景？互联网有很多“数据量较大，并发量较大，业务复杂度较高”的业务场景，其典型系统分层架构如下：（1）上游是业务层biz，实现个性化的业务逻辑；（2）中游是服务层service，封装数据访问；（3）下游是数据层db，存储固化的业务数据；服务化分层架构的好处是，服务层屏蔽下游数据层
分类：
其他好文 时间：
2020-11-16 13:59:24
阅读次数：
11
用最少的机器支撑万亿级访问，微博6年Redis优化历程编者按：本文由刘东辉向高可用架构供稿，基于在5月15日Redis用户交流会上的演讲内容。刘东辉，新浪微博基础架构组研发工程师。2013年加入微博，先后参与微博Redis、CounterService、SSDCache、CacheService等基础组件的设计与开发工作，目前专注于分布式缓存、存储方向。微博是从2010年开始引入Redis，现在R
分类：
其他好文 时间：
2020-11-16 13:07:17
阅读次数：
4
12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
