浏览器的缓存机制 HTTP文件缓存、LocalStorage、 sessionStorage、cookie、indexDB、webSQL 、CatheStorage、Application Cathe HTTP文件缓存 1、浏览器会先查询Cathe-Control, ( cathe-control ...
分类：
其他好文 时间：
2017-05-13 21:04:40
阅读次数：
248
1.Google文件系统（GFS） 使用一堆便宜的商用计算机支撑大规模数据处理。 GFSClient： 应用程序的訪问接口 Master（主控server）：管理节点。在逻辑上仅仅有一个（另一台“影子server“，在主控server失效时提供元数据，但并非完整的热备server），保存系统的元数据 ...
分类：
其他好文 时间：
2017-05-02 18:18:48
阅读次数：
275
大数据时代，HBase作为一款扩展性极佳的分布式存储系统，越来越多地受到各种业务的青睐，以求在大数据存储的前提下实现高效的随机读写操作。对于业务方来讲，一方面关注HBase本身服务的读写性能，另一方面也需要更多地关注HBase客户端参数的具体意义。这篇文章就从一个具体的HBase客户端异常入手，定位 ...
分类：
其他好文 时间：
2017-02-25 12:29:22
阅读次数：
711
Sqlserver 高并发和大数据存储方案 随着用户的日益递增，日活和峰值的暴涨，数据库处理性能面临着巨大的挑战。下面分享下对实际10万+峰值的平台的数据库优化方案。与大家一起讨论，互相学习提高！ 案例：游戏平台. 1、解决高并发 当客户端连接数达到峰值的时候，服务端对连接的维护与处理这里暂时不做讨 ...
分类：
数据库 时间：
2017-01-11 07:44:34
阅读次数：
249
一、外部数据源《集团内部数据》客户信息产品信息供应商信息《第三方数据》公众号信息BAT数据电信数据营销知识库ERPAppAPI 二、数据采集数据实时采集器（外部数据进入）从调查、第一步、第二部、。。。成交。。。会员经营等阶段收集数据 三、大数据存储精准投放跟进提醒资源配置项目联动客户经营交易分析 四 ...
分类：
其他好文 时间：
2017-01-06 00:58:23
阅读次数：
229
一、文件的上传和下载 要将客户端（浏览器）大数据存储到服务器端，不将数据直接存储到数据库中，而是要将数据存储到服务器所在的磁盘上（减少了数据库服务器的压力，对数据的操作更加灵活） 1、文件上传的原理 1.1 文件上传的必要前提： （1）提供form表单，method必须是post （2）form表单 ...
分类：
Web程序 时间：
2016-12-17 22:52:37
阅读次数：
219
cookie 容量4kb，默认各种浏览器都支持，缺陷就是每次请求，浏览器都会把本机存的cookies发送到服务器，无形中浪费带宽。userdata，只有ie支持，单个容量64kb，每个域名最多可存10个共计640k数据。默认保存在C:\Documents and Settings\Administr ...
分类：
其他好文 时间：
2016-12-06 13:15:53
阅读次数：
223
一、前言 以下简介摘自官方 Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase， ...
分类：
其他好文 时间：
2016-11-25 20:16:04
阅读次数：
898
Hadoop适合应用于大数据存储和大数据分析的应用，适合于服务器几千台到几万台的集群运行，支持PB级的存储容量。Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。但是Hadoop的使用范围远小于SQL或Python之类的脚本语言，所以不要盲目使用Hadoop。不过 ...
分类：
其他好文 时间：
2016-10-12 17:07:44
阅读次数：
156
在生产中我们一般希望文件系统能帮我们解决以下问题，如：1.超大数据存储；2.数据高可用（冗余备份）；3.读/写高性能；4.海量数据计算。最好还得支持多平台多语言，支持高并发。 由于单台服务器无法满足以上要求，这就迫使开发者不得不考虑使用其他方式解决此类问题。分布式文件系统就在这样迫切的需求下孕育而生 ...
分类：
其他好文 时间：
2016-10-09 09:09:22
阅读次数：
122
