标签:style blog http io os 使用 ar for 数据
分类: 技术是什么 2013-03-27 12:51 657人阅读 评论(0) 收藏 举报
我折腾这个的原因:
但是目前看来,存储的问题上不大,但是mongdb那些特性对于我的#大数据#上没有适配的地方
而另外一个重中之重就是数据统计和分析,这是我的需求核心,我需要对海量数据进行查询统计,太多的group by之类的了
而mongodb似乎不能满足我的要求(或者我不知道),我只是在各种mongodb的资料中只是看到了简单的条件型select
我需要的是海量数据的真正分布式计算型数据库!例如我有1TB数据。可能同时同步存储在4个数据节点上,当我要做某个统计分析的时候,我需要这个统计分析可以被转化下去到这四个节点上然后再汇总。这样的分布式计算提升我单节点计算的性能!
PS,我对于那个Map/Reduce还是有点搞不清楚状态!我再去查查资料!
查了一下资料,好像所谓的MapReduce可以满足我的分布式需求,可是Group之类的呢?
事务我是不需要的。但是MongoDB的查询确实太麻烦了!
分类: 技术是什么 2013-04-08 17:35 202人阅读 评论(0) 收藏 举报
利用淘宝的开发API获取数据的时候,交易数据里面有很多内容是不需要的,但是又怕以后那天又需要
所以利用mongdb 的表格式无关性可以啥都不管的情况下把所有数据都存储了,而不是今天设计一个关系数据库的表结构,后天变动了,再过10多天又。。。。 ,,,
这种场景真的对于NoSQL 是很需要的!
2014-09-09 15:30 18人阅读 评论(0) 收藏 举报
个人的一点理解,不确定一定准确,有不对处欢迎指出
全部数据使用mysql存储,确保安全、准确和持久
大数据、非安全性数据使用Mongodb
小数据、结构丰富、持久化(主从数据)使用redis
小数据、结构单一、非持久化使用memcache
补充:
1、MongoDB已经在多个站点部署,其主要场景如下:
1)网站实时数据处理。它非常适合实时的插入、更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。
2)缓存。由于性能很高,它适合作为信息基础设施的缓存层。在系统重启之后,由它搭建的持久化缓存层可以避免下层的数据源过载。
3)高伸缩性的场景。非常适合由数十或数百台服务器组成的数据库,它的路线图中已经包含对MapReduce引擎的内置支持。
不适用的场景如下:1)要求高度事务性的系统。
2)传统的商业智能应用。
3)复杂的跨文档(表)级联查询。
标签:style blog http io os 使用 ar for 数据
原文地址:http://www.cnblogs.com/yeyong/p/3994148.html