Apache storm 是一个由twitter开源的大数据处理系统,与其他系统不同的是,storm旨在用于分布式实时处理并且与语言无关。笔者所认知的storm使用场景诸 如 实时日志分析、网站用户行为实时分析、实时计算等,目前很多公司也都把storm作为自己的大数据架构的一部分,来实现一些实时业务...
分类:
Web程序 时间:
2015-01-14 14:10:42
阅读次数:
207
OneProxy分库分表演示(杭州平民软件有限公司)OneProxy是为MySQL精心设计的数据访问层,可以为任何开发语言提供对MySQL数据库的智能数据路由功能,比如单点切换、读写分离、分库分表等高级功能。并且允许你在公有云和私有云环境下自由布署,打造属于自己的数据架构。如果在测试中发现问题,请联...
分类:
其他好文 时间:
2015-01-13 12:19:54
阅读次数:
241
一、回顾
让我们回顾一下,在上几章里都讲了什么?总结如下:
《柯南君:看大数据时代下的IT架构(1)业界消息队列对比》
《柯南君:看大数据时代下的IT架构(2)消息队列之RabbitMQ-基础概念详细介绍》
《柯南君:看大数据时代下的IT架构(3)消息队列之RabbitMQ-安装、配置与监控》
《柯南君:看大数据时代下的IT架构(4)消息队列之RabbitMQ--案例(Helloword起航)》
《柯南君:看大数据时代下的IT架构(5)消息队列之RabbitMQ--案例(Work Queues起航)》
《...
分类:
其他好文 时间:
2014-12-16 13:37:52
阅读次数:
220
文章翻译自:http://opensource.com/business/14/11/open-source-accelerating-pace-software
当我们谈论社区带给开源软件的创新性和革新意识的时候,我们总是谈论开源对于社区内部的代码贡献和分工合作的促进作用。贡献者越多,合作的分歧和争端就会越少。
然而,当云计算、大数据和物联网席卷整个个IT界,以至于...
分类:
其他好文 时间:
2014-11-29 12:00:19
阅读次数:
195
从企业架构上(见 http://blog.csdn.net/sun305355024sun/article/details/40920051)来说,企业架构可以分为两大部分:业务架构和IT架构,大部分企业架构方法都是从IT架构发展而来的,详细如下:
① 业务架构:是把企业的业务战略转化为日常运作的渠道,业务战略决定业务架构,它包括业务的运营模式、流程体系、组织结构、地域分布等内容。
② IT架构:指导IT投资和设计决策的IT框架,是建立企业信息系统的综合蓝图,包括数据架构、应用架构和技术架构三部分。
...
分类:
Web程序 时间:
2014-11-23 00:43:30
阅读次数:
267
在过去的很长一段时间中,关系型数据库(Relational Database ManagementSystem)一直是最主流的数据库解决方案,他运用真实世界中事物与关系来解释数据库中抽象的数据架构。然而,在信息技术爆炸式发展的今天,大数据已经成为了继云计算,物联网后新的技术革命,关系型数据库在处理大...
分类:
数据库 时间:
2014-11-06 19:46:18
阅读次数:
283
爆炸式发展的NoSQL技术 在过去的很长一段时间中,关系型数据库(Relational Database Management System)一直是最主流的数据库解决方案,他运用真实世界中事物与关系来解释数据库中抽象的数据架构。然而,在信息技术爆炸式发展的今天,大数据已经成为了继云计算,物联网...
分类:
数据库 时间:
2014-11-06 17:14:05
阅读次数:
265
我接触过的大数据有:
1.美国棱镜计划
2.前几天新闻报道的,苹果公司窃取用户隐私
3.百度的用户搜素习惯统计分析
4.淘宝的用户购物习惯分析,智能推荐宝贝
5.浏览器的智能标签页
...
最想了解的大数据架构与算法:
1.著名的Google 网页排名算法:PageRank
2.著名的聚类算法:K-Means
7.CART
3.C4.5
4.k-Mea...
分类:
其他好文 时间:
2014-10-27 11:00:21
阅读次数:
214
互联网创业中大部分人都是草根创业,这个时候没有强劲的服务器,也没有钱去买很昂贵的海量数据库。在这样严峻的条件下,一批又一批的创业者从创业中获得成功,这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软件,通过架构和低成本服务器也可以搭建千万级用户访问量的系...
分类:
其他好文 时间:
2014-10-17 18:24:28
阅读次数:
176
一、多维数据模型及相关概念数据模型一般有两个层次:概念层(逻辑层)和物理层。逻辑数据模型是从概念角度抽象出现实世界的内在规律,如业务流程、数据架构等;物理数据模型则侧重于特定环境下的具体实现,如效率、安全性等。多维数据模型是一个逻辑概念,该模型主要解决如何对大量数据进行快速查询和多角度展示,以便得出...
分类:
其他好文 时间:
2014-10-06 17:08:00
阅读次数:
353