一共有三类数据：历史数据（每秒记录一次）保存天数*每秒处理的数据量*86400(秒)*50Bytes(每条数据的大小)趋势数据（每小时记录一次）保存天数*每小时处理的数据量*24(小时)*128Bytes(每条数据的大小)事件数据保存天数*每秒产生的数据量*86400(秒)*130Bytes(每条数据大小)例：..
分类：
数据库 时间：
2017-01-26 23:23:13
阅读次数：
1052
"云计算"，“大数据”的概念风起云涌，一时貌似所有的人都成了“大数据专家”，多多少少都能侃两句，为了适应时代的发展，抽时间看了看《大数据时代》，简单谈一下自己的理解。 大数据的核心就是预测，通过历史数据预测未来。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。然而对大数据的分析方式 ...
分类：
其他好文 时间：
2016-12-29 14:14:32
阅读次数：
180
cacti(rrdtool是画图工具，)监控网设备占优势。nagios直观一目了然，可以自已写脚本,但是不支持历史数据的查看。zabbix,功能丰富。安装cacti服务端#楼主的系统是centenOS6首先现在如下rpm包，然后安装对应的rpm包epel源centos532位epel源下载地址：www.lishiming.net/data/p_w_..
分类：
系统相关 时间：
2016-12-26 19:13:34
阅读次数：
239
Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是 ...
分类：
编程语言 时间：
2016-12-22 06:32:18
阅读次数：
260
对现有系统进行摸底：1、对当前系统的性能数据做收集2、分析用户的主要流程，以及关键流程3、列出关键流程涉及的系统，接口，服务，存储，数据流向等，4、根据2、3从业务角度分析关键流程的性能瓶颈；5、根据历史数据（PV,接口访问数，并发数等），找出用户访问的高峰（时间上的高峰，以及数据上的峰值）6、在关 ...
分类：
其他好文 时间：
2016-12-21 16:13:24
阅读次数：
264
elastic使用lucene建立索引的步骤中，需要文件系统缓存需要同步到磁盘上。（多个segment->commit文件来维护） 当建立历史数据时，并不要求太高的实时性时，可以减小（默认1s）自动刷新时间。 curl -XPOST http://127.0.0.1:9300/logstash-20 ...
分类：
其他好文 时间：
2016-12-20 11:49:42
阅读次数：
162
1.解决什么问题 目前营改增的需求比较多，在做历史数据处理的时候，产品的提供的只是刷项目，并且有bug,但是其实真实很多维度都是按照楼栋来刷，在做历史数据处理的时候，是一个比较耗时的过程，但是其实在刷数的时候有很多的共性，本工具使你一键刷新历史数据，并且支持断点续刷功能。已经在力高308 中洲301 ...
分类：
其他好文 时间：
2016-12-17 11:44:15
阅读次数：
187
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 这就是整个Scrapy的架构图了； 各部件职能： Scrapy Engine: 这是引擎，负责Spiders、ItemPipeline、Downloader、Sch ...
分类：
其他好文 时间：
2016-12-09 00:05:29
阅读次数：
174
道格拉斯说过“全部皆可量化”，数据量化是使用数据的根底，进入了大数据年代，量化更为重要，办理大师德鲁克与戴明的智慧共识也通知咱们：无量化、无办理；先量化，后决议计划。量化办理应该培育用数据说话的剖析思想。在项目办理中咱们做量化的意图，即是要搜集和剖析各种历史数据，经过对数据的剖析来知道项目真实的功率 ...
分类：
其他好文 时间：
2016-12-05 09:47:45
阅读次数：
188
Logistic回归虽然名字叫”回归” ，但却是一种分类学习方法。使用场景大概有两个：第一用来预测，第二寻找因变量的影响因素。逻辑回归(Logistic Regression, LR)又称为逻辑回归分析，是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如，我们可以将购买的 ...
分类：
编程语言 时间：
2016-12-02 03:12:29
阅读次数：
313
