现在很多用户被数据库的慢的问题所困扰，又苦于花钱请一个专业的DBA成本太高。软件维护人员对数据库的了解又不是那么深入，所以导致问题迟迟不能解决，或只能暂时解决不能得到根治。开发人员解决数据问题基本又是搜遍百度各种方法尝试个遍，可能错过诊断问题的最佳时机又可能尝试一堆方法最后无奈放弃。 怎么样让琐事缠 ...
分类：
其他好文 时间：
2018-09-27 22:54:53
阅读次数：
202
实施中遇到一些问题，记录备查。1Dell的Compellent系列存储单盘超过1T会强制使用双冗余策略。每个卷中数据同时存在于Raid10-DM和Raid6中，数据写入时写入Raid10-DM中，占用空间为实际数据量的三倍，而后依据快照策略，每天固定时间把系统自动分析出来的冷数据移动到Raid6中以节省存储空间。如果有多种类型存储器，会做分层处理，系统可以在各层中自动迁移数据。可以新建自定义策略，
分类：
其他好文 时间：
2018-09-20 01:09:11
阅读次数：
152
镜像的命名规则： 1.【冷数据】/【base镜像】例如：ansible，centos 2. lastest{最新的意思} 不是真的（随便命名） 3. [image name]=[repository]:[tag] 4【私有仓库ip】/【冷数据】/【base-images】:192.168.56.20 ...
分类：
其他好文 时间：
2018-08-10 17:12:17
阅读次数：
206
经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。 这就产生了一种热和冷数据，对需要频繁访问的数据我们称之为“热”数据，反之我们称之为”冷”数据， ...
分类：
其他好文 时间：
2018-06-15 21:40:56
阅读次数：
155
1.冷热数据分离，不要将所有数据全部都放到Redis中 虽然Redis支持持久化，但是Redis的数据存储全部都是在内存中的，成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】，对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式 ...
分类：
其他好文 时间：
2018-06-06 12:22:25
阅读次数：
148
摘要 在SQL Server备份专题分享中，前四期我们分享了：三种常见的数据库备份、备份策略的制定、如何查找备份链以及数据库的三种恢复模式与备份之间的关系。本次月报我们分享SQL Server如何利用文件组技术来实现数据库冷热数据隔离备份的方案。 场景引入 假设某公司有一个非常重要的超大的数据库（超 ...
分类：
数据库 时间：
2018-04-11 15:43:15
阅读次数：
175
从ELK到EFK演进 背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日 ...
分类：
其他好文 时间：
2017-11-10 18:54:59
阅读次数：
263
Hbase支持的压缩格式：hbase支持的压缩格式：GZ（GZIP）,LZ0，LZ4，SnappyGZ:用于冷数据压缩，与Snappy和LZ0相比，GZIP的压缩率更高，但是更消耗CPU，解压/压缩速度更慢。Snappy和LZ0：用于热数据压缩，占用CPU少，解压/压缩速度比GZ快，但是压缩率不如GZ高。Snappy与LZ0相比，..
分类：
其他好文 时间：
2017-09-08 18:29:12
阅读次数：
215
没有影响，持久化只是为了保证可靠性。持久化并不会把数据换出内存。如果开启redis的VM(虚拟内存)，会将冷数据交换到磁盘；另外：使用aof代替snapshot不是个好主意，因为：aof即append only mode，在写入内存数据的同时将操作命令保存到日志文件，在一个并发更改上万的系统中，命令 ...
分类：
其他好文 时间：
2017-07-19 00:15:54
阅读次数：
212
http://down.51cto.com/data/2263476 java 多线程编程 入门到精通 将cpu 的那个 张振华多个用户可以同时用一个 vhost，但是vhost之间是隔离的。不错的rabbitmq系列教程 http://blog.csdn.net/chwshuang/article ...
分类：
其他好文 时间：
2017-04-12 17:56:07
阅读次数：
207
