在开源搜索引擎Iveely的0.8.0中，我们有提到Iveely Computing实时计算平台，因为Iveely搜索引擎也是基于这个平台做的开发，因此，我们可以利用这个平台，轻松构建分布式实时应用程序。在开始构建程序之前，请按照这里部署Iveely Computing，确定部署无误之后，我们可.....
分类：
其他好文 时间：
2015-05-12 09:15:23
阅读次数：
118
Strom的结构 Storm与传统关系型数据库 ??? 传统关系型数据库是先存后计算，而storm则是先算后存，甚至不存 ??? 传统关系型数据库很难部署实时计算，只能部署定时任务统计分析窗口数据 ??? 关系型数据库重...
分类：
其他好文 时间：
2015-04-27 00:49:40
阅读次数：
171
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
分类：
其他好文 时间：
2015-04-17 07:05:30
阅读次数：
152
Storm是什么 如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于 hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoo...
分类：
其他好文 时间：
2015-04-12 16:21:43
阅读次数：
312
分布式的实时计算框架，storm对于实时计算的意义类似于hadoop对于批处理的意义。 Storm的适用场景： 1.流数据处理：storm可以用来处理流式数据，处理之后将结果写到某个存入中去。 2.持续计算：连续发送数据到客户端，使它们能够实时更新并显示结果，如网站指标 3.分布式RPC：由于sto...
分类：
其他好文 时间：
2015-04-12 10:34:30
阅读次数：
161
最近刚开始接触计算机动画，一片空白，尝试做了一下3D蒙皮，发现数学真是差得难以想象，矩阵的什么的全部忘记了，真是接下来该恶补一下基础了……在这里把遇到的几个问题记录一下。主要参考书目：《计算机动画算法与技术》《3D游戏》（英国人写的书已经绝版了）《3D游戏引擎设计——实时计算机图形学应用方法》关节就...
分类：
其他好文 时间：
2015-04-03 01:31:29
阅读次数：
132
前言在实时计算中，通常是从队列中收集原始数据，这种原始数据在内存中通常是一个java bean，把数据收集过来以后，通常会把数据落地到数据库，供后面的ETL使用。举个一个简单的例子，对一个游戏来说，为了统计某个游戏，某个服务器的登陆注册等事件，原始数据对应的java bean可能会是这样：publi...
分类：
数据库 时间：
2015-04-01 13:15:27
阅读次数：
193
最近在组内作了次简单的分享，题目是实时数据流的处理，切入点主要是推荐系统中多种实时数据流的实时计算问题，当然像搜索的trends， 广告的实时计费等也可能会碰到类似的问题，PPT里面简单的介绍了下线上系统实际的结构和流程，系统上线运行近半年多，虽然没有出现过问题，其中有些问题还是值得修改和改善的，如果有业务相关的需求，这些问题会一并改善。
主要处理的问题：
1. 乱序的问题，这个在多数...
分类：
其他好文 时间：
2015-03-29 16:34:56
阅读次数：
173
最近项目需要一个REST API应用网关，因此用GO写了一个，并简单地实现了加权轮循算法。
基本思路是初始化时生成一个队列，在每次请求到来，选取backend时，直接从队列里选取，不用实时计算。...
