标签：style blog http color io 使用 java ar 数据
一、问题的提出
在九月中开始，我们要打造个性化空间，领导要求的是只进行原型的设计，逻辑的设计，不进行技术开发。其实是严重不正确的，因为个性化空间其特点与现有的技术模型完全不同，现有的技术方案未必能适应开发工作，会造成看起来工作正常，但一旦大规模压力测试将性能一塌糊涂.....
所以，我们当然要听从领导安排，但私下准备好个性化空间的技术方案也是势在必行。
二、初步技术方案
根据以往的性能优化方案，我们一般采用REDIS进行一级缓存，特殊场景应对大并发，采用二级缓存办法。如果按以前的方式，那么方案是这样的：
1、在REDIS中记录此空间ID，比如ID:5，有几个模块，都是什么模块ID，比如：模块3，模块9，模块10，模块20，等。
2、每个模块的内容都单独保存到REDIS中。
3、每个模块单独记录最后的UPDATE时间，比如如果某个模块的内容删除了，更新了等，都需要在缓存中更新一下此模块的最后UPDATE时间为当前时间戳。
4、当用户初次来访问时，由LUA查询到此个性化空间有哪些模块， 然后根据每个模块的REDIS缓存，组装成一个JSON串，同时在REDIS中记录一个HASH，
包含如下信息：哪个空间ID（在KEY里体现），都有哪些模块，这些模块都是最后的更新时间是啥？
5、JSON数据经NGINX的GZIP压缩后返回。
6、当用户再次访问时，LUA查询此个性化空间有哪些模块，是不是在模块个数（或个数相同，同容变成其它模块了），模块的最后更新时间有区别，如果没有，则不重复组装，直接拿现成的JSON数据返回即可。
7、当某个模块的数据变化时，要求JAVA修改模块的最后修改时间，这样，LUA再次查询时，将不再读取保存好的JSON数据，而是重新组装返回，并再次缓存JSON数据。
三、技术方案进化
上面的方案应对一般的需求是很好的，在资源库列表的压力测试中取得了很好的成绩，由1000并发上升到3000并发应该不是问题，但应对这个需求就怕是要有问题了：
个性化空间具有可扩展性，比如，现在只开发了十个模块，用户最多可以启用十个模块，每个模块的数据量在10K左右，那么最多是100K，数据量不大，后期随着项目的进展，很可能空间出现大规模模块增加，我们以短期内可以接受的50个为上限计算，那么就在500K左右。大家知道，NGINX我们是启用了GZIP压缩的，本来GZIP压缩的效率很高，对于简单的JSON数据我们可以放心的使用GZIP压缩提高传输效率，但对于一个500K的流量，每请求一次就要实时压缩一下，效率可想而知。而此请求是一个动态请求，还不能使用效率更好的STATIC_GZIP方式，那么如果在这样的场景下，CPU的疲劳是可想而知的。因为小的JSON它压缩起来不费力，但大的呢？它也是十分吃力的，这一点我们以前在看JQUERY.MIN.JS每次让它压缩就看的出来，JQUERY.MIN.JS才只有120K左右，它就疲于奔命了，所以，这个方案存在先天的问题。
为此，黄海提出了一个新的设计思路：JSON数据的压缩不由GZIP实时进行，而是一次性在服务器端生成，然后直接发给JAVASCRIPT，由JS去解压解码后再运行。
(当然，为什么这种数据能不经过NGINX压缩呢？可能需要一些测试，比如：
gzip_types text/plain application/x-javascript text/css text/html application/xml; 将这种传输修改为一种不常用的mime，应该可以让NGINX不进行压缩，直接传输）。
核心思路：
1、由JAVA进行第一次的组装，一旦组装完成，将JSON数据先BASE64后，然后经JAVA进行Deflater压缩，得到的数据保存到REDIS中，LUA发现数据无变化 ，直接读取缓存数据并返回。
2、JAVASCRIPT得到数据后，先进行字符串解压，然后将BASE64字符串还原为普通字符串，进行渲染即可。
3、其它策略与上面的方式基本一致。
4、此优化的方案最核心的是JAVA生成Deflater压缩，BASE64化，然后在JAVASCRIPT中找到办法可以解压，并反BASE64化。
附： JAVA与JAVASCRIPT通用的字符串压缩，BASE64加解方法
四、不尽人意的地方
第一次请求需要JAVA进行处理，LUA的ZLIB库黄海没有安装起来，是不是能与JAVA,JAVASRIPT的压缩，解压保持一致还不知道，需要进一步测试。
LUA在检查到没有生成过时，需要转发ACTION给JAVA，那么如何转发，这里存在一个测试的内容。现在黄海只知道可以使用ngx.redirect，那么其它参数如何传递？用cookie可以吧？
标签：style blog http color io 使用 java ar 数据
原文地址：http://www.cnblogs.com/littlehb/p/3960161.html
