MapReduce 里面的shuffle:描述者数据从map task 输出到reduce task 输入的这段过程 Shuffle 过程： 首先，map 输出的<key,value > 会放在内存中，内存有一定的大小，超过之后，会将内存里的东西溢写（spill） 到磁盘（disk)中 。在从内存溢 ...
分类：
其他好文 时间：
2019-04-26 13:17:05
阅读次数：
109
LRU是Least Recently Used的缩写，意思是最近最少使用，它是一种Cache替换算法。现在要设计一种数据结构有如下几种性质： 1. 每个节点为一对key,value的形式，可通过get <key>查找，通过put <key, value> 插入 2. 最大存储节点数为n 3. put ...
分类：
系统相关 时间：
2019-04-26 11:15:00
阅读次数：
151
一、Redis简介 是以key-value形式存储，和传统的关系型数据库不一样，不一定遵循传统数据库的一些基本要求。（区别于MYSQL的二维表格的形式存储）。和Memcache类似，但是很大程度上拟补了Memcache的不足。和Memcache一样，Redis数据都是缓存在计算机内存中，不同的是,M ...
分类：
其他好文 时间：
2019-04-26 10:58:30
阅读次数：
140
redis是一个key-value型数据库，不运行在jvm上，而是一个独立的进程； 一般来说它会被当成缓存使用，因为它的速度比数据库要快，常用数据可以放在redis中，加快访存速度； 使用方式 命令行方式插入hero-gareen的键值对；然后用get进行访问 Redis jedis 原生的redi ...
分类：
其他好文 时间：
2019-04-26 00:14:45
阅读次数：
116
Redis 基于内存的高性能key value数据库。 为什么将Redis写进内存 Redis为了达到最快的读写速度将数据都读到内存中，并通过异步的方式将数据写入磁盘。所以redis具有快速和数据持久化的特征。如果不将数据放在内存中，磁盘I/O速度为严重影响redis的性能。在内存越来越便宜的今天， ...
分类：
其他好文 时间：
2019-04-24 13:24:05
阅读次数：
128
Map集合： java.util,Map<k,v> 特点：1、键值对 2、key-value一一对应 3、key不允许重复。 Map常用实现类： java.util.HashMap<k,v> 集合 implement Man<k,v> 接口。 HashMap的特点：1、HashMap集合，底层是哈希 ...
分类：
其他好文 时间：
2019-04-24 12:10:04
阅读次数：
127
CRM 可以实现plugin之前的值传递. 我们可以使用SharedVariables 把值在plugin之间传递 实现plugins之间的传递非常简单,我们只需要用key value pair来配对传递. 读取的时候用key来获取相应key的value ...
分类：
其他好文 时间：
2019-04-23 20:54:30
阅读次数：
127
1、redis简介 Redis是一个速度非常快的key-value非关系型存储数据库，可以存储5种形态的键值对，可以将存储在内存中的键值对持久化到硬盘，可以使用复制特性扩展读性能，还可以使用客户端分片扩展写性能。 1.1 redis与其他数据库和软件的对比 名称 类型 数据存储选项 查询类型 附加功 ...
分类：
其他好文 时间：
2019-04-21 20:23:48
阅读次数：
197
官方文档地说明 几个关键的信息：基于Map接口实现、允许null键/值、非同步、不保证有序(比如插入的顺序)、也不保证序不随时间变化。 一.概述 HashMap 是一个散列表，它存储的内容是键值对(key-value)映射。 HashMap 继承于AbstractMap，实现了Map、Cloneab ...
分类：
其他好文 时间：
2019-04-20 00:11:32
阅读次数：
142
用户认证组件简介 之前是把is_login=True放在session里来判断用户是否登录之前的操作，在覆盖的时候有问题。例如两个用户，第一个用户key-value多，第二个少覆盖可能会保留有第一个的 用session保存用户登录状态。使用组件 用户认证组件的前提：功能：用session记录登录验证 ...
分类：
其他好文 时间：
2019-04-19 20:14:25
阅读次数：
212
