标签：persist 建议 encoding 爬虫 就会 false utf-8 pat 内存缓存
EhCache是一个纯Java的进程内缓存框架。
使用EhCache缓存框架，可以首先将数据存储到缓存中，缓存数据有两级：内存和磁盘，因此无需担心容量问题。缓存数据会在虚拟机重启的过程中写入磁盘。之所以用缓存框架，主要是相对于传统数据库速度更快。
EhCache在数据量不是很大的时候可以很好的发挥作用，例如数据量在十万级别的小型爬虫，可以用于判断重复url。
从maven远程仓库导入依赖，建议选择较为稳定的2.X版本
<dependencies> <dependency> <groupId>net.sf.ehcache</groupId> <artifactId>ehcache</artifactId> <version>2.10.3</version> </dependency> </dependencies>
首先需要在 src/main/resources 目录下建立配置文件 ehcache.xml
cache元素的属性：
name：缓存名称
maxElementsInMemory：内存中最大缓存对象数
maxElementsOnDisk：硬盘中最大缓存对象数，若是0表示无穷大
eternal：true表示对象永不过期，此时会忽略timeToIdleSeconds和timeToLiveSeconds属性，默认为false
overflowToDisk：true表示当内存缓存的对象数目达到了maxElementsInMemory界限后，会把溢出的对象写到硬盘缓存中。注意：如果缓存的对象要写入到硬盘中的话，则该对象必须实现了Serializable接口才行。
diskSpoolBufferSizeMB：磁盘缓存区大小，默认为30MB。每个Cache都应该有自己的一个缓存区。
diskPersistent：是否缓存虚拟机重启期数据
diskExpiryThreadIntervalSeconds：磁盘失效线程运行时间间隔，默认为120秒
timeToIdleSeconds： 设定允许对象处于空闲状态的最长时间，以秒为单位。当对象自从最近一次被访问后，如果处于空闲状态的时间超过了timeToIdleSeconds属性值，这个对象就会过期，EHCache将把它从缓存中清空。只有当eternal属性为false，该属性才有效。如果该属性值为0，则表示对象可以无限期地处于空闲状态
timeToLiveSeconds：设定对象允许存在于缓存中的最长时间，以秒为单位。当对象自从被存放到缓存中后，如果处于缓存中的时间超过了 timeToLiveSeconds属性值，这个对象就会过期，EHCache将把它从缓存中清除。只有当eternal属性为false，该属性才有效。如果该属性值为0，则表示对象可以无限期地存在于缓存中。timeToLiveSeconds必须大于timeToIdleSeconds属性，才有意义
memoryStoreEvictionPolicy：当达到maxElementsInMemory限制时，Ehcache将会根据指定的策略去清理内存。可选策略有：LRU（最近最少使用，默认策略）、FIFO（先进先出）、LFU（最少访问次数）。
<?xml version="1.0" encoding="UTF-8"?> <ehcache> <!-- 磁盘存储:将缓存中暂时不使用的对象,转移到硬盘,类似于Windows系统的虚拟内存 path:指定在硬盘上存储对象的路径 --> <diskStore path="C:\ehcache" /> <!-- defaultCache:默认的缓存配置信息,如果不加特殊说明,则所有对象按照此配置项处理 maxElementsInMemory:设置了缓存的上限,最多存储多少个记录对象 eternal:代表对象是否永不过期 overflowToDisk:当内存中Element数量达到maxElementsInMemory时，Ehcache将会Element写到磁盘中 --> <defaultCache maxElementsInMemory="100" eternal="true" overflowToDisk="true"/> <!-- maxElementsInMemory设置成1，overflowToDisk设置成true，只要有一个缓存元素，就直接存到硬盘上去 eternal设置成true，代表对象永久有效 maxElementsOnDisk设置成0 表示硬盘中最大缓存对象数无限大 diskPersistent设置成true表示缓存虚拟机重启期数据 --> <cache name="a" maxElementsInMemory="1" eternal="true" overflowToDisk="true" maxElementsOnDisk="0" diskPersistent="true"/> </ehcache>
package cn.cslg; import net.sf.ehcache.Cache; import net.sf.ehcache.CacheManager; import net.sf.ehcache.Element; public class EhcacheTest { public static void main(String[] args) { // 根据ehcache.xml配置文件创建Cache管理器 CacheManager manager=CacheManager.create("./src/main/resources/ehcache.xml"); Cache c=manager.getCache("a"); // 获取指定cache Element e=new Element("name","zhangsan"); c.put(e); // 把一个元素添加到Cache中 Element e2=c.get("name"); // 根据key获取缓存元素 System.out.println(e2); // 自动toString System.out.println(e2.getObjectValue()); // 打印对象值 c.flush(); // 刷新缓存 manager.shutdown(); // 关闭缓存管理器 } }
标签：persist 建议 encoding 爬虫 就会 false utf-8 pat 内存缓存
原文地址：http://www.cnblogs.com/ShawnYuki/p/6959764.html
