在 "前面" 的学习中主要了解了Pandas如何构造序列和数据框，如何读取和写入各种格式的数据，以及如何对数据进行初步描述，本文将进一步了解Pandas如何处理字符串和日期数据，数据清洗，获取数据子集，透视表，分组聚合操作等内容。 4. Pandas处理字符串和日期数据 待处理的数据表 数据处理要求 ...
分类：
编程语言 时间：
2020-04-09 12:58:30
阅读次数：
103
有没有小伙伴和我一样，日常工作就是处理大量表格？是不是觉得脑累肩累心累？十年前有个人也跟我们一样为繁琐的工作感到沮丧，然后他就去学习了python，然后构建了专门用来处理表格的pandas项目。他就是pandas的作者WesMcKinney。pandas处理表格真是太好用了，博主写了这个程序以后，原来每个月都要没日没夜赶好多天的工作，现在只要拿着茶杯等着程序运行。下面我们来看看一些常见的数据处理方
分类：
编程语言 时间：
2020-04-08 13:39:20
阅读次数：
182
[TOC] 直面ddos 被攻击前的防范 1、买服务 CDN，CDN不仅可以实现加速的效果，对于隐藏真实服务器IP也有效果，还能有效防止DDOS攻击。 买高防的服务器 买云平台的攻击流量包 2、买硬件 购买硬件抗DDOS防火墙或流量清洗设备 3、脚本检测联动防火墙 写脚本，脚本内容是分析日志里面对网 ...
分类：
其他好文 时间：
2020-04-08 11:41:13
阅读次数：
56
前言 本文仅是对以前写的小示例进行一次梳理，由于本人菜鸟一枚，后端代码写的很渣，前端页面也不好看，还请大家多多海涵。 一、程序简介 程序分为cmdb_server，cmdb_client两部分，以运维为核心开发的简易框架，cmdb_client主要负责资产信息采集，采集到数据后将数据进行清洗，汇总. ...
分类：
数据库 时间：
2020-04-06 10:05:53
阅读次数：
80
numpy、pandas做数据清洗 numpy、pandas做数据清洗 numpy、pandas空值的清洗 有两种方式 删除空值所在的行数据 将缺失的行或者列进行删除 使用到的数据判断方法： isnull:判断数据是否是为空，如果为空返回True，否则返回False notnull:判断数据是否非空 ...
分类：
其他好文 时间：
2020-04-05 20:09:06
阅读次数：
97
一.主题式网络爬虫设计方案 1.主题式网络爬虫名称：国家数据网不同年份的人口比率 2.主题式网络爬虫爬取的内容：人口出生率死亡率及自然增长率 3.设计方案概述： 实现思路：爬取网站内容，之后分析提取需要的数据，进行数据清洗，之后数据可视化,并计算不同比率的相关系数 技术难点：因为用的是json分析， ...
分类：
其他好文 时间：
2020-04-05 13:55:03
阅读次数：
117
numpy百题冲关，pandas百题冲关numpy后边涉及到矩阵和后期学习到的数学知识的实践https://www.shiyanlou.com/courses/1090/learning/pandas涉及到pandas相关应用、例如数据清洗等内容https://www.shiyanlou.com/c... ...
分类：
其他好文 时间：
2020-04-04 14:24:40
阅读次数：
68
1 前沿 1.1 适合自动化的任务 每周二输出一些新的分析结果，编制一份报告，并发送给相关方 其他部门或同事需要能够在没有你的指导和支持下运行报告工具和清洗工具 每周进行一次数据下载、清洗和发送 每次用户请求新报告，报告脚本需要运行，并且在报告生成后通知用户 你需要每周清洗一次数据库里面的错误数据， ...
分类：
编程语言 时间：
2020-04-04 00:00:31
阅读次数：
143
一、大数据预处理的几个步骤 1.数据预处理 2.数据清洗 3.数据集成 4.数据归约 5.数据变换 6.数据离散化 7.大数据预处理 二、数据预处理 现实中的数据大多是“脏”数据： ①不完整 缺少属性值或仅仅包含聚集数据 ②含噪声 包含错误或存在偏离期望的离群值 比如：salary=“-10”，明显 ...
分类：
其他好文 时间：
2020-04-03 22:15:48
阅读次数：
171
流程图如下: 说明: 1: OGG同步表清单 表名 注释 数据量 表大小/GB SH_LOSS_MID.LOSS_YC_MRCJDLDJSJ_CONSGZB 日冻结电量 8900467833 561.39 SH_LOSS.C_METER_MP_RELA 表计关系表 13778340 0.7 SH_L ...
分类：
其他好文 时间：
2020-04-03 12:16:05
阅读次数：
75
