简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本... ...
分类：
数据库 时间：
2016-06-16 17:52:16
阅读次数：
476
一、所需环境介绍1、硬件2、软件zabbix产生的数据主要由四部分组成： 配置数据 历史数据：50Bytes（每次采集） 历史趋势数据:128Bytes 事件数据:130Bytes二、zabbix安装官网：www.zabbix.com
分类：
其他好文 时间：
2016-06-16 00:09:20
阅读次数：
137
人月神话这本书究竟谈了什么？我大概按CMMI的项目管理，工程和支持过程三个维度。按人，方法工具技术和流程三要素进行了一下梳理。书里面这几个方面的内容全部涉及到了。在项目管理方面可以看到项目估算，组织结构和人员角色安排，团队建设和沟通，历史数据积累和建模，软件开发方法论，风险和问题管理等相关的内容；在 ...
分类：
其他好文 时间：
2016-06-15 22:19:55
阅读次数：
219
关于 Docker 容器的监控，google cAdvisor 是个很好的工具，但是它默认只显示实时数据，不储存历史数据。为了存储和显示历史数据、自定义展示图，可以把将cAdvisor与InfluxDB、Grafana 集成起来，国外的专家 Brian Christner 写了一篇文章 ”How t ...
分类：
数据库 时间：
2016-06-15 18:54:03
阅读次数：
1645
与随笔的好处就是可以强迫自已学习，今天本来不想学的，还是多少得学些 下午被一个Bug整惨了，刚好这两天实习生又一直请假，只好自已上（不过今天这事实习生估计搞不定）。存储过程里判断相等，没用ISNULL，结果原先的值为NULL，导致更新变成插入，最痛苦是要处理历史数据，对方又没有远程桌面，只好把数据库 ...
分类：
数据库 时间：
2016-06-12 23:26:28
阅读次数：
174
生产线历史数据归档是数据库运维的一项日常基本工作。在建表设计时，通常都将数据流水表（如：日志、用户登录历史，软件下载记录，用户属性更改历史表等）设计为范围分区表、间隔分区表（11G），当超过业务要求的保留范围时，此数据基本是静态数据且应用程序再不对其进行访问，..
分类：
其他好文 时间：
2016-06-02 20:22:42
阅读次数：
292
1、Scrapy简介
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy官网文档 -- 戳我...
分类：
编程语言 时间：
2016-06-02 14:40:48
阅读次数：
425
因为这面的数据库比较多，数据也比较多，但是有个遗留的历史数据问题;就是某个字符串前面有个英文逗号; 现在需求就是要去掉这个英文逗号,用脚本跑数据库也行,但是这里用sql 语句来去掉; 以下是完整的代码，这里做个记录 ...
分类：
数据库 时间：
2016-06-02 13:30:26
阅读次数：
395
作者：Grey 原文地址： http://www.cnblogs.com/greyzeng/p/5524614.html 需求： 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表（Oracle）：table1 目标表（MySQL）：table2 数据量：20,000,000 思 ...
分类：
其他好文 时间：
2016-05-24 20:51:39
阅读次数：
238
MapReduce和Spark比较
目前的大数据处理可以分为以下三个类型：
1、复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间；
2、基于历史数据的交互式查询（interactive query），通常的时间跨度在数十秒到数分钟之间；
3、基于实时数据流的数据处理（streaming data processing），...
分类：
其他好文 时间：
2016-05-22 12:17:28
阅读次数：
163
