spark术语 --------------- 1.RDD 弹性分布式数据集 , 轻量级数据集合。 内部含有5方面属性： a.分区列表 b.计算函数 c.依赖列表 e.分区类(KV) f.首选位置 创建RDD方式) a.text... ...
分类：
其他好文 时间：
2018-05-16 10:47:52
阅读次数：
156
大数据时代，企业对于DBA也提出更高的需求。同时，NoSQL作为近几年新崛起的一门技术，也受到越来越多的关注。本文将基于个推SRA孟显耀先生所负责的DBA工作，和大数据运维相关经验，分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考。据官方统计，截止目前（2018年4月20日）NoSQL有225个解决方案，具体到每个公司，使用的都
分类：
数据库 时间：
2018-05-14 16:53:34
阅读次数：
187
当前，Memcached、Redis这类分布式kv缓存已经非常普遍。从本篇开始，本系列将分析分布式缓存相关的原理、使用策略和最佳实践。 我们知道Memcached的分布式其实是一种“伪分布式”，也就是它的服务器结点之间其实是相互无关联的，之间没有网络拓扑关系，由客户端来决定一个key是存放到哪台机器 ...
分类：
其他好文 时间：
2018-05-08 14:23:54
阅读次数：
148
单线程模型： redis中的数据结构并不全是简单的kv，还有list、hash等复杂的结构，这些结构很可能会进行细粒度的操作，比如在很长的列表偶棉添加一个元素，在hash当中或者删除一个对象，这样的一个操作就会添加很多的锁，导致同步的开销大大增加，redis权衡之后选择使用单线程，突出自己功能的灵活 ...
分类：
编程语言 时间：
2018-05-03 13:32:12
阅读次数：
185
函数的作用kv编程论：解释函数几种参数的用法作用域程序异常的处理案例：登录验证命令行版密码生成器51备忘录v0.26deffunction_name(s):statement(s)def关键词，不可变function_name函数名，小写字母，下划线连接单词sparameters，参数，可以有多个，用逗号分开statement（s）代码语句，或其他函数，带（s）为调用，callimportrand
分类：
其他好文 时间：
2018-05-01 00:37:23
阅读次数：
121
State 是用来 管理 从数据存储中 查询数据(使用batch中的tuple作为输入来查询) 插入和更新数据(把batch中的tuple更新或者插入到数据存储) 里面涉及到事务管理 对于，数据存储是kv结构的， 会有专门的MapStates接口 我们要自己定义支持kv的state，只需要实现 IB ...
分类：
其他好文 时间：
2018-04-26 12:01:25
阅读次数：
190
1、Redis介绍1.1、什么是NoSql 为了解决高并发、可扩展用大数据存储问题而产生的库方案，就是NoSql数据库。 NoSQL泛指非关系型的数据库，NoSQL即Not-OnlySQL，它可以作为关系型数据库的良好补充。1.2、kv存储数据库键值(Key-Value)存储数据库相关产品：相关产品：TokyoCabinet/Tyrant、Redis、V
分类：
其他好文 时间：
2018-04-19 00:33:26
阅读次数：
186
192.168.4.5yum-yinstallmemcachedtelnetNoSQL数据库、KV数据库、缓存数据库（快）CPU>内存>硬盘>数据库（SQL：增，删，改，查）#systemctlstartmemcached#netstat-nutlp|grepmemcache#telnet127.0.0.111211setname01003tomgetname存储一个key,名称
分类：
系统相关 时间：
2018-04-13 16:20:06
阅读次数：
202
redis[noSQL数据库，KV数据库，缓存数据库]redis支持永久存数据redis功能更多1.安装Redis#yum-yinstallgcc#cd/root/lnmp_soft#tar-xfredis-3.0.6.tar.gz#cdredis-3.0.6#make&&makeinstall问题：配置文件，PATH，启动脚本#./utils/install_server.sh【
分类：
其他好文 时间：
2018-04-13 16:14:31
阅读次数：
156
HBase底层存储原理——我靠，和cassandra本质上没有区别啊！都是kv 列存储，只是一个是p2p另一个是集中式而已！ 首先HBase不同于一般的关系数据库, 它是一个适合于非结构化数据存储的数据库. 另一个不同的是HBase基于列的而不是基于行的模式. 什么是BigTable： Bigtab ...
分类：
其他好文 时间：
2018-04-04 14:55:56
阅读次数：
163
