kafka单机部署kafka是一种高吞吐量的分布式发布订阅消息系统,kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为环境配置:
CentOSrelease6.3(Final)
jdk版本:jdk-6u31-linux-x64-rpm.bin
zookeeper版..
分类:
其他好文 时间:
2014-12-19 19:23:50
阅读次数:
225
突然收到LinkedIn的一封邮件,
说某某猎头看过我的简历
问题是链接点击去之后
还不能查看这个人的资料
需要发送InMail
什么是InMail呢?不知道
反正是需要升级账号
每个月20美元?!
去他妈的滚
垃圾的LinkedIn
试图用名字搜索,找不到这个“浏览过我简历”的人
问题是、
重点!
这个人我认识!
妈的
再骂一句,垃圾的LinkedIn网站!...
分类:
Web程序 时间:
2014-12-18 15:15:27
阅读次数:
336
Home ?|? 简体中文 ?|? 繁体中文 ?|? 杂文 ?|? Search ?|? ITEYE 博客 ?|? OSChina 博客 ?|? Facebook ?|? Linkedin ?|? Email 数据库结构版本控制 http://netkiller.github.io/journal/mysql...
分类:
数据库 时间:
2014-12-17 19:08:47
阅读次数:
338
MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,目前在淘宝和支付...
分类:
Web程序 时间:
2014-12-10 22:42:01
阅读次数:
288
最近在刷各大公司的技术博客的时候,我在Linkedin的技术博客上面发现了一篇很不错博文。这篇博文介绍了Linkedin信息流中间层Feed Mixer,它为Linkedin的Web主页,大学主页,公司主页以及客户端等多个分发渠道提供支撑(如下图所示)。在Feed Mixer里面用到了一个叫做SPR...
分类:
编程语言 时间:
2014-12-08 02:04:02
阅读次数:
253
这篇博文介绍了Linkedin信息流中间层Feed Mixer,在Feed Mixer里面用到了一个叫做SPR(念“super”)的库。博文讲的就是如何优化SPR的java代码。最终的优化结果就是SPR的内存占用减少了75%,进而将feed-mixer的内存占用减少了 50% 。这些优化减少了对象的生成,进而减少了GC得频率,整个服务的延迟就减少了25%。...
分类:
编程语言 时间:
2014-12-08 00:53:18
阅读次数:
275
近日,Linkedin宣布开源其正在使用的大数据计算引擎Cubert,该框架提供了一种新的数据模型来组织数据,并使用诸如MeshJoin 和Cube算法等算法来对组织后的数据进行计算,从而减轻了系统负荷和节省了CPU资源,最终提供给用户一个简单、高效的查询。Cubert比较适合的计 算领域包括统计计...
分类:
其他好文 时间:
2014-11-19 18:17:29
阅读次数:
187
Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道(data pipeline)和消息系统使用。...
分类:
其他好文 时间:
2014-11-19 01:40:39
阅读次数:
364
业界对于消息的传递有多种方案和产品,本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比,在应用场景方面,RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份...
分类:
其他好文 时间:
2014-11-05 14:30:10
阅读次数:
187
近日领英(LinkedIn)发布了《中国职场人士跳槽报告》。报告显示中国职场人士跳槽频率远高美国,已经成为常态。一半以上中国职场人士在一家公司安心工作不到一年半,就开始了辞职跳槽的准备。哪些行业的流动性更大?为什么有如此之高的跳槽频率?中国职场人最看中什么?企业怎么才能留住人才?“互联网的一些事”....
分类:
其他好文 时间:
2014-10-27 14:12:52
阅读次数:
192