清理数据的基本步骤如下所示：从外部数据源导入数据。原始数据备份。先执行不需要列操作的任务，例如拼写检查等接下来，执行需要列操作的任务。数据清理基础知识连接（导入）数据概述-Excelhttps://support.office.com/zh-cn/article/%E8%BF%9E%E6%8E%A5-%EF%BC%88%E5%AF%BC%E5%85%A5%EF%BC%89-%E6%95%B0%E6
分类：
其他好文 时间：
2017-12-10 01:21:56
阅读次数：
228
什么是定时任务？ linux系统自身定期执行的任务和工作： 轮训系统日志、备份系统数据、清理缓存等 一般来讲，不需要管 用户执行的任务工作，也就是运维管理员执行的任务和工作 linux系统下定时软件种类 定时软件有： at， crontab, anacron at： 适合仅执行一次就结束的调度任务 ...
分类：
系统相关 时间：
2017-12-02 14:02:51
阅读次数：
216
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作 ...
分类：
其他好文 时间：
2017-11-13 13:35:30
阅读次数：
124
由于项目原因，最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况，有三步去判断原因所在： step A：如果用kafka串口（即console-consumer）是可以正常消费该topic，则排除kafka集群出现故障 step B：若平台业务能正常消费其他top ...
分类：
其他好文 时间：
2017-11-01 13:44:38
阅读次数：
221
网络中的接收和发送数据都是使用操作系统中的SOCKET进行实现。但是如果此套接字已 经断开，那发送数据和接收数据的时候就一定会有问题。可是如何判断这个套接字是否还可以使用呢？这个就需要在系统中创建心跳机制。其实TCP中已经为我们 实现了一个叫做心跳的机制。如果你设置了心跳，那TCP就会在一定的时间（ ...
分类：
其他好文 时间：
2017-09-19 00:31:37
阅读次数：
198
1、简介 crontab用于设置周期性被执行的命令 Linux系统中Linux调动工作分为两大类： 1、系统执行的工作：系统周期性所要执行的工作，如备份系统数据、清理缓存 2、个人执行的工作：某个用户定期要做的工作，例如每隔10分钟检查邮件服务器是否有新信，这些工作可由每个用户自行设置 /etc/c ...
分类：
其他好文 时间：
2017-09-17 13:48:30
阅读次数：
178
mysql生产库大表删除一般线上业务增长较快，造成某些表达到分表的临界值，表行数超过2000w且查询频繁，如表业务没有较多的聚合查询的话，可以考虑按时间归档部分历史数据。现推荐2种本人之前使用过的删除方式。按照主键或者索引拆分后分段执行，使用存储过程需要注意这种大表删..
分类：
数据库 时间：
2017-09-14 18:40:27
阅读次数：
173
<?php /** * [Discuz!] (C)2001-2099 Comsenz Inc. * This is NOT a freeware, use is subject to license terms * * $Id: function_delete.php 27060 2012-01-0 ...
分类：
Web程序 时间：
2017-09-09 16:25:54
阅读次数：
362
许多的项目当中，一旦改动了js的代码，必须在浏览器当中重新加载数据，清理缓存，比较麻烦。网上找了很多的清除浏览器的方法，首先是在 html的头部加上meta的属性，但是发现并没有什么用处，后来看到说在js上增加随机的数字或者版本号就可以解决这个问题，无奈不知道怎么加，现在终于知道了如何在js上直接给 ...
分类：
Web程序 时间：
2017-09-04 13:21:08
阅读次数：
251
基于python对淘宝模特个人信息进行筛选爬取，数据清洗，持久化写入mysql数据库.使用django对数据库中的数据信息筛选并生成可视化报表进行分析。数据爬取，筛选，存库：#-*-coding:utf-8-*-
importrequests
frombs4importBeautifulSoup
importsys
importre
reload(sys)
sys.set..
分类：
编程语言 时间：
2017-08-04 09:58:03
阅读次数：
328
