一日一技：在Python中创建临时文件用于记录临时数据当我们在做数据分析的时候，可能会由于数据量过大导致内存不足。如果我们没有条件使用更高配置的电脑，也没有办法优化数据，那么我们可以先把计算的中间值存放在一个文本文件中。例如：#第一步计算分成中间数据withopen(‘temp.txt‘,‘w‘,encoding=‘utf-8‘)asf:f.write(‘中间数据‘)#从内存中清空中间数据，腾出空
分类：
编程语言 时间：
2020-12-08 12:50:36
阅读次数：
8
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
变异程度变量：即离散程度的度量 1 : 极差：最简单的变异程度度量 极差=最大值-最小值 2 : 四分位数 间距 第三四分位数Q3与第一四分位数Q的差值，也就是说，四分位数间距是中 间50%数据的极差。 IQR=Q3-Q1 3 ：方差 方差=∑(观测值-平均值)2/N 4:标准差：方差的平方根 5: ...
分类：
其他好文 时间：
2020-07-28 00:15:06
阅读次数：
74
商业智能又称商业智慧或商务智能，简称：BI，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。一、BI软件可以连接不同各种数据库和文件的数据。无论是制作报表进行数据可视化请添加链接描述还是挖掘数据更深次的内涵，获取数据是企业进行一切数据分析的前提。数据是不断更新的，目前实际大部分企业是将数据存储在数据库中，使用数据库数据来制作报表，并且报表内容会随着数据库的
分类：
其他好文 时间：
2020-07-28 00:07:54
阅读次数：
135
数字类型 certificatecodecopy = certificatecode.replace(/^(.{6})(?:\d+)(.{4})$/, "\$1****\$2"); 所有类型 enginenocopy = engineno.replace(/^(.{2})(?:\w+)(.{1})$ ...
分类：
Web程序 时间：
2020-07-22 16:23:59
阅读次数：
216
pwn-基础练习 汇编基础 ?寄存器简介： ?80x86中，32位寄存器有16个： ?4个数据寄存器、2个变址寄存器、2个指针寄存器、6个段寄存器、1个指令寄存器和1个标志寄存器 ?--数据寄存器 ?eax，ebx，ecx，edx ?作用：存放运行中间数据，ecx常用作计数器 ?特点：可以分割，比如 ...
分类：
其他好文 时间：
2020-06-08 13:01:21
阅读次数：
133
归并排 就是一种分治的思想 将某个问题划分为n个小的同规模算法去解决 public class StudyMergeSort { /** * 归并排思路 : * 将一个数组分割成n个小组 然后每个小组两两比较 */ public static void main(String[] args) { i ...
分类：
编程语言 时间：
2020-05-25 17:52:21
阅读次数：
69
Django 内置的serializers( 对象转成ｊｓｏｎ数据) rest_framework 序列化 1. 继承 Serializers 继承 ModelSerializer 直接指定要序列化的表模型 ...
分类：
其他好文 时间：
2020-04-29 00:41:34
阅读次数：
75
一、运行速度方面： Spark把中间数据放到内存中，迭代运算效率高。 Hadoop MapReduce将计算结果保存到磁盘上，这样会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。 二、容错方面： Spark引进了弹性分布式数据集RDD ...
分类：
其他好文 时间：
2020-01-18 21:41:13
阅读次数：
106
如果不考虑事务隔离性，可能会发生以下情况 脏读：事务a，读到了事务b未提交的数据，如果事务a读到了事务b的一些中间数据，待处理的数据。b事务数据还没有提交，就被a事务访问了 （解决方法：将 读未提交 级别提高到 读已提交 例如：orale在事务a 更新t表的时候，表t为锁住的状态，事务a未提交之前， ...
分类：
数据库 时间：
2020-01-04 18:13:18
阅读次数：
184
