TCP/UDP协议: TCP（Transmission Control Protocol）一种面向连接的、可靠的、传输层通信协议(比如:打电话) 优点:可靠，稳定,传输完整稳定,不限制数据大小 缺点:慢，效率低，占用系统资源高，一发一收都需要对方确认 应用：Web浏览器,电子邮件,文件传输,大量数据 ...
分类：
其他好文 时间：
2020-06-06 18:49:07
阅读次数：
57
两个参数：chunksize，iterator 1、chunksize read_csv 和 read_table 有一个chunksize参数，用以指定一个块大小（每次读取多少行），返回一个可迭代的 TextFileReader 对象。 import pandas as pd reader = p ...
分类：
其他好文 时间：
2020-06-04 23:11:26
阅读次数：
154
L01 Algorithmic Thinking，Peak Finding 算法定义：高效处理大量数据的程序 在学本课之前最好先学习6.042，本课进阶为6.046 本门课的8个主要章节：算法思想、排序与树、哈希、超精度数的表示、图、路径寻优、动态编程、其他 一维波峰寻找：分别介绍了遍历方法（θ（n ...
分类：
编程语言 时间：
2020-06-02 18:34:34
阅读次数：
83
一、Redis概述 在传统的java web项目中基本都使用数据库进行存储数据，但是使用数据库会有一些性能弊端，主要是性能方面，因为数据库持久化数据主要是面向磁盘的，而磁盘的读写速度又比较慢，因此在一般的管理系统中使用数据库来存储数据，因为它不存在高并发，没有瞬间需要读写大量数据的请求。而在互联网中 ...
分类：
数据库 时间：
2020-06-01 14:01:50
阅读次数：
125
参考地址： https://blog.csdn.net/student__software/article/details/82048724 1.检查是否开启二进制日志 #查看是否开启二进制日志，ON表示开启，OFF表示没有开启 show variables like 'log_bin_trust_ ...
分类：
数据库 时间：
2020-05-27 01:04:40
阅读次数：
141
大量数据从数据库里全部查出来，然后再生成报表输出到 web 端，一般需要很长时间，用户体验很差，而且报表一般采用内存计算，全读入的话也容易爆掉内存。所以大数据量报表呈现时都是采用分页的方式，尽量快速呈现第一页，用户也可以随意翻页，每次显示的一页数据量比较小，也就不会内存溢出。 大部分报表工具通常是使 ...
分类：
其他好文 时间：
2020-05-26 15:24:25
阅读次数：
92
[TOC] OO第三单元总结 1 梳理JML语言的理论基础、应用工具链情况 1.1 理论基础 ? JML是用于对Java程序进行规格化设计的一种表示语言。使用JML，能够描述一个方法预期的功能而不管如何实现，先设计类和接口，推迟了过程性的思考。JML以javadoc注释的方式来表示规格，有两种注释方 ...
分类：
其他好文 时间：
2020-05-23 18:39:41
阅读次数：
46
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
存储设备组成与分区 文件系统的最终目的是把大量数据有组织的放入持久性的存储设备中（如硬盘和磁盘）。 磁盘的物理组成为： 扇区（Sector）为最小的物理储存单位，目前主要有512bytes和4K两种格式；扇区组成的同一个位置上的?，就是磁柱（Cylinder）；早期的分区主要以磁柱为最小分区单位，现 ...
分类：
系统相关 时间：
2020-05-22 17:00:36
阅读次数：
83
爬虫采集信息时为什么会被封IP，这就像你楼下超时免费送礼品，你一个小时去了六趟，那超市肯定不会再给你礼品啊，脾气不好还有可能把你轰走，所以我需要换个衣服、发型让工作人员认不出来。这就和换IP一个道理，许多网站都会对爬虫行为进行识别，一旦认定你的行为是爬虫，便会锁定你的IP，导致爬虫爬取不了信息。 爬 ...
分类：
其他好文 时间：
2020-05-20 15:47:19
阅读次数：
57
