一、MySQL完全备份与恢复备份的主要目的是灾难恢复，备份还可以测试应用、回滚数据修改、查询历史数据、审计等。1、数据备份的重要性在企业中数据的价值至关重要，数据保障了企业业务的正常运行。因此，数据的安全性及数据的可靠性是运维的重中之重，任何数据的丢失都可能对企业产生严重的后果。通常情况下造成数据丢失的原因如下几种：程序错误人为操作错误运算错误磁盘故障灾难（火灾、地震）和盗窃二、数据库备份类型1、
分类：
数据库 时间：
2019-11-01 14:41:51
阅读次数：
96
1.如果是非生产环境，可以先将索引和约束删掉，等数据插入完之后，再建立索引和约束。 2.如果一次性插入数据较大，可以使用游标，每次小批量的插入数据。 3.如果数据表太大，可以构建历史表，老数据通常不会再使用，可以将老数据、历史数据归档至历史表中，同样的，历史表数据插完之后再建索引等。 4.并行sel ...
分类：
数据库 时间：
2019-10-27 17:05:27
阅读次数：
101
数据仓库的出现，并不是取代数据库。 数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储业务数据，数据仓库存储的一般是历史数据。 数据库是为了捕获数据而设计，数据仓库是为了分析数据而设计。 数据库设计是尽量避免冗余，一般针对某一业务应用设计。 数据仓库，狮子啊数据库已经大量存在的情况下 ...
分类：
数据库 时间：
2019-10-23 19:45:20
阅读次数：
99
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy 框架 高性能的网络请求 高性能的数据解析 高性能的持久化存储 深度爬取 全站爬取 分布式 中间件 请求传参 环境的安装 mac/linux：pip i ...
分类：
其他好文 时间：
2019-10-20 21:39:27
阅读次数：
112
当前AI人才极度紧缺，据《中国ICT人才生态白皮书》研究分析，到2018年底，我国人工智能人才缺口将突破100万，到2020年，这一数字将攀升到226万。 在过去的几年中，Python已经成为现代软件开发，基础设施管理领域的一个热门话题，特别是在数据科学和人工智能领域。最近，Python已经上升到T ...
分类：
编程语言 时间：
2019-10-19 20:28:24
阅读次数：
143
惊雷算法会例行产出惩罚数据，对存在点击流量作弊的行为进行惩罚，同时综合考虑站点质量、历史数据等各纬度特征，对有判罚纪录的网站加以严惩，严重者将长期封禁。 2017年11月，百度搜索提出惊雷算法，严厉打击通过刷点击，提升网站搜索排序的作弊行为；以此保证搜索用户体验，促进搜索内容生态良性发展。 2018 ...
分类：
编程语言 时间：
2019-10-12 18:35:08
阅读次数：
73
1、背景： 数据在使用的过程中会慢慢衰减，原因是数据使用频繁会被冻结一段时间和其他一些造成数据某个时间点不可用的未知因素，基于这中现象有必要设计清洗历史数据。我们当前原始清洗过程只是负责获取基本信息，因为历史数据的清洗会出现获取基本信息后不能做任务，所以我的设计将清洗历史数据分成初次清洗和二次清洗两 ...
分类：
其他好文 时间：
2019-10-10 12:47:33
阅读次数：
80
scrapy简介 ? Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中 scrapy的执行流程 Scrapy主要包括了以下组件： 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器( ...
分类：
其他好文 时间：
2019-10-08 18:40:12
阅读次数：
80
Scrapy 入门教程 Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。 Scrapy架构 ...
分类：
其他好文 时间：
2019-10-04 20:31:50
阅读次数：
98
cookie因为http是一个无状态协议，无法记录用户上一步的操作，所以需要状态保持。cookie和session的区别：1.cookie是保存在浏览器本地的，所以相对不安全。cookie是4k的大小，最多保存20条（因为最原始的浏览器的本地是很小的，只是一个历史数据，但是其实是不精确的），默认的过 ...
分类：
其他好文 时间：
2019-09-23 13:31:42
阅读次数：
81
