码迷,mamicode.com
首页 > 其他好文 > 详细

大数据存储系统三

时间:2017-06-02 18:55:24      阅读:266      评论:0      收藏:0      [点我收藏+]

标签:block   mat   --   图存储   完全   分布   nali   表达   hit   

目录

一、Document Store

1.数据模型

1.1 Json

1.2 Google Protocol Buffer

2.MongoDB

2.1 API and Query Model

2.2 Architecture

二、图存储系统

1.图数据模型

2.Neo4j

3.RDF和Sparql

(本文为陈世敏老师课程笔记)

-----------------------------------------------------

一、Document Store

1.数据模型

1.1 Json

  特点:整体是一个object,可以嵌套数组且数组每个元素还可以object,完全动态不需要事先声明。

技术分享

1.2 Google Protocol Buffer

  google推出,最初用来做网络协议,可以进行压缩编码和解码,需要预先定义。嵌套关系用语法树表达。

  required: 出现1次

  repeated: 出现0到多次

  optional: 出现0到1次

技术分享

技术分享

技术分享

2.MongoDB

2.1 API and Query Model

  JSON是基本数据类型,存储为BSON二进制表示,一个database包含多个collections, 每个collection包含多个documents(<16MB)。

  一个database包含多个collections, 每个collection包含多个documents.

  Database ~ 关系型中的数据库概念

  Collection ~ 关系型中的table概念

  Document ~ 关系型中的记录概念

  不支持join

技术分享

技术分享

技术分享

技术分享

2.2 Architecture

  左单机,右分布式。

ACID:

  只能保证单个记录修改时候的一致性,没有transaction概念。

  并发控制可在document-level/collection-level二选一实现。

  Journaling每隔一段时间进行备份,采用write concern界定什么时候认为写完成,有不同的write concern等级:

  +Unacknowledged-写请求发送了,就认为完成

  +Acknowledged-MongoDB应答了收到写请求,就认为完成

  +Journaled-MongoDB把写请求记录在硬盘上的日志中,认为完成

  前两种并不能保证掉电后写请求仍然有效。

 

 

技术分享

技术分享

技术分享

技术分享

 

二、图存储系统

1.图数据模型

  G=(V,E)

2.Neo4j

2.1 数据存储

  自定义结构在本地硬盘存储图,而不是在数据库中,开源Java实现。

  +顶点:称为node

  +边:称为relationship

  +顶点和边上可以存储多个key-value值:称为property

2.2 Cypher举例

Node:(name:type, {property_key:value, key:value})

  (张飞:Student,{name:“张飞”,major : “计算机”, year: 2013})

  (体系结构:Course,{name:“体系结构”})

Relationship:

  -[name:type, {property_key:value, key:value}]->

  -[:Takecourse,{year:2014, grade:85}]->

Cypher Create:

  CREATE (张飞:Student,{name:“张飞”, major : “计算机”, year: 2013})    创建点

  CREATE (体系结构:Course,{name:“体系结构”})  创建点

  CREATE (张飞)-[:Takecourse,{year:2014, grade:85}]->(体系结构)  

  技术分享

Cypher Match:

  (a)-[*]->(b) 有路径从a到b

  (a)-[*3..5]->(b) 有路径从a到b,路径最短3步,最长5步

                                            技术分享 

技术分享

2.3 Neo4j系统结构

技术分享

2.4 文件存储

  +Node.Relationship.Property 都放在一起存储,有unique id

  +relationship 同一个node的relationship是双向链表,指针为relationship id,node 存储第一个的id,每个relationship可能有多个     property。

  +Property 是单项链表,链表第一个存在与对应的node/relationship中

  +Neo4j对node.relathionship.property缓冲,property以key-value形式附加在node/relationship上

ACID:

  定义了transaction概念,采用类似snapshot isolation机制,一个transaction首先保存起来,直到transaction.finish()尝试真正修     改。采用多副本,主副本把transaction log发送到从副本,从副本replay log执行同样操作。 

  技术分享

技术分享

技术分享

 

3.RDF和Sparql 

  Resource Description Framework:w3c标准,广泛用于语义网络。每个RDF记录是三元组(subject, predicate, object)。

技术分享

  Sparql 是RDF的查询语言  ?前缀代表变量,注意“.”

技术分享

 

大数据存储系统三

标签:block   mat   --   图存储   完全   分布   nali   表达   hit   

原文地址:http://www.cnblogs.com/gardenofsjw/p/6921212.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!