经常有用户会问这个问题，你家的产品能处理多大数据量？似乎是这个值越大产品就越牛。这个问题，其实没多大意义。能处理多大的数据量，还有个很关键的因素是期望的响应时间，在脱离这个因素单纯谈大数据产品的数据处理量，就不知道怎么回答了。考虑只有单台机器的简单情况。如果是希望秒级响应的OLAP式汇总，那么GB级都是挺大的数据了，几乎不可能有什么产品能处理TB级数据（除非有巨大内存）。而如果是数小时内完成的ET
分类：
其他好文 时间：
2018-06-12 11:22:12
阅读次数：
134
驭龙HIDS是一款由 YSRC 开源的***检测系统，由 Agent， Daemon， Server 和 Web 四个部分组成。集异常检测、监控管理为一体，拥有异常行为发现、快速阻断、高级分析等功能，可从多个维度行为信息中发现***行为。
简单的讲，驭龙提供了一个OSSEC/OSSIM之外的开源HIDS选择。对于“一个人的安全部/没有钱的安全部”来说，是一个功能更丰富，二次开发门槛更低一些的“轮子”。
除了agent中涉及到驱动的部分是c写的，其他后端、web都是golang写的，天然跨平台。agent支持32位/64位win、linux环境，后端所依赖的Elasticsearch、MongoDB本身也支持多平台，所以后端部署在win、linux皆可。如果只有小几百个agent部署实例，最少单台机器就能支撑。
分类：
其他好文 时间：
2018-06-08 16:40:56
阅读次数：
1190
通过某种特定的条件，将存放在同一个数据库中的数据分散存放到多个数据库上，实现分布存储，通过路由规则路由访问特定的数据库，这样一来每次访问面对的就不是单台服务器了，而是N台服务器，这样就可以降低单台机器的负载压力。提示：sqlserver 2005版本之后，可以友好的支持“表分区”。 垂直(纵向)拆分 ...
分类：
数据库 时间：
2018-05-31 02:36:41
阅读次数：
206
参考：官方文档 分布式运行Locust 一旦单台机器不够模拟足够多的用户时，Locust支持运行在多台机器中进行压力测试。 为了实现这个，你应该在 master 模式中使用--master标记来启用一个 Locust 实例。这个实例将会运行你启动测试的 Locust 交互网站并查看实时统计数据。ma ...
分类：
其他好文 时间：
2018-05-14 00:56:05
阅读次数：
296
集群模式 多Master模式 优点：数据不会丢失，性能高 缺点：单台机器岩机期间，这台机器未被消费的消息在机器恢复之前不可订阅。消息的实时性会受到影响 多Master多Slave模式，异步复制 优点：即使Master岩机之后，消费者任然可以从slave中消费。 缺点：Master岩机，会丢失少量数据 ...
分类：
其他好文 时间：
2018-05-12 19:18:37
阅读次数：
162
背景由于jmeter本身的瓶颈，当需要模拟数以千计的并发用户时，使用单台机器模拟所有的并发用户就有些力不从心，甚至还会引起Java内存溢出的错误。要解决这个问题，可以使用分布式测试，运行多台机器运用所谓的Agent来分担jmeter自身的压力，并借此来获取更大的并发用户数，但是需要进行相关的一些修改 ...
分类：
其他好文 时间：
2018-05-08 19:29:16
阅读次数：
110
mysql架构由小变大的演变过程 第一阶段 网站访问量日pv量级在1w以下。单台机器跑web和db，不需要做架构层调优。此时，数据往往都是每日冷备份的，但有时候如果考虑数据安全性，会搭建一个mysql主从 第二阶段 网站访问量日pv达到几万。此时单台机器已经有点负载，需要我们把web和db分开，需要 ...
分类：
数据库 时间：
2018-04-07 21:07:50
阅读次数：
200
假设一个网站（discuz）从最开始访问量很小做到日pv千万，我们来推测一下它的mysql服务器架构演变过程。 第一阶段 网站访问量日pv量级在1w以下。单台机器跑web和db，不需要做架构层调优（比如，不需要增加memcached缓存）。此时，数据往往都是每日冷备份的，但有时候如果考虑数据安全性， ...
分类：
数据库 时间：
2018-04-06 23:55:39
阅读次数：
327
有一天，我突发奇想创建了一个站点，基于LNMP架构，起初只有我自己访问，后来因为我点儿正，访问量越来越大，所以最终导致下面的架构演变。 1. 单台机器因为只是一个小站，访问量一天也没有多少uv（100以内），所以用一台1核1g的机器足够了。机器上安装的是CentOS系统，然后搭建了nginx+php ...
分类：
Web程序 时间：
2018-04-06 23:52:00
阅读次数：
271
redis集群介绍 1.官方叫cluster,redis3.0才直接的一个架构，如果数据量很大，单台机器已经无法满足存储，查询的瓶颈，所以我们需要多台机器构成一个大集群，用来解决存储空间，查询速度，负载高瓶颈问题，redis cluster是一个分布式的集群，支持横向扩展 redis集群搭建配置 1 ...
分类：
数据库 时间：
2018-03-31 16:42:44
阅读次数：
189
