import xlrdapply_dic = []def get_excel(excel_path): with xlrd.open_workbook(excel_path) as workbook : name_sheets = workbook.sheet_names() #获取Excel的sh ...
分类：
其他好文 时间：
2020-09-24 21:49:24
阅读次数：
42
前言 在开发过程中，肯定避免不了读取文件操作，比如读取配置文件、上传和下载文件、Web中html、js、css、图片等静态资源的访问；在配置文件读取章节中有说到，针对不同配置源数据读取由对应的IConfigurationProvider进行读取，其实读取文件也是一样，针对于不同类型(物理文件、嵌入文 ...
分类：
Web程序 时间：
2020-09-18 00:50:43
阅读次数：
54
读取Excel数据Excel文件是传统的数据格式，但面对海量数据时，用编程的方法来处理数据更有优势。这里示例用的数据文件如下图所示，注意它有3张sheet表。类似于csv文件，可以使用pandas.read_excel()函数来读取Excel文件，并存储成数据框格式。pandas.read_excel()读取Excel文件，其参数如下:sheet_name:设置读取的sheet名。na_value
分类：
其他好文 时间：
2020-09-03 16:55:50
阅读次数：
54
1.服务器层优化1.将数据保存在内存中，保证内存读取数据设置足够大的innodb_buffer_pool_size,将数据读取到内存中。建议innodb_buffer_poll_size设置为总内存大小的3/4或者4/5怎么确定innodb_buffer_pool_size足够大。数据是从内存读取而不是硬盘？innodb_buffer_pool_pages_free为0则表示bufferpool已
分类：
数据库 时间：
2020-08-18 13:37:49
阅读次数：
66
1 from docx import Document 2 path = r'D:\pywork\12' # word信息表所在文件夹 3 w = Document(path + '/' + 'word信息表.docx') #读取word 4 a = w.paragraphs #读word中 所有 ...
分类：
编程语言 时间：
2020-08-17 16:35:40
阅读次数：
94
1.MySQL会为每个线程分配一个内存（sort_buffer）用于排序该内存大小为sort_buffer_size 1>如果排序的数据量小于sort_buffer_size，排序将会在内存中完成 2>如果排序数据量很大，内存中无法存下这么多数据，则会使用磁盘临时文件来辅助排序，也称外部排序 3>在 ...
分类：
数据库 时间：
2020-07-29 12:38:27
阅读次数：
71
python读取txt文件，将数据转化为dataFrame,dataFrame数据插入到pgsql 1. pd.io.sql.to_sql(dataframe,'table_name',con=conn,schema='w_analysis',if_exists='append') 2.df.to_ ...
分类：
数据库 时间：
2020-07-28 22:23:40
阅读次数：
101
概念： 硬盘中的数据永久保存，内存中的数据临时保存 I：input 输入（读取） 输入：将硬盘上的数据读取到内存中使用 O：output 输出（写入）输出：将内存中的数据，写入到硬盘中保存 流：数据（字符、字节）1个字符=2个字节 1个字节=8个二进制位 顶级父类们： ...
分类：
其他好文 时间：
2020-07-27 13:52:49
阅读次数：
69
Task2 数据读取与数据分析 一、数据读取 1 import pandas as pd 2 train_df = pd.read_csv('./train_set.csv', sep='\t') 首先对read_csv的函数有个清晰的认识，具体的参数的情况如下： filepath_or_buffe ...
分类：
其他好文 时间：
2020-07-23 16:48:28
阅读次数：
119
##Task2 数据读取与数据分析 ####1.学习目标 学习使用Pandas读取赛题数据 分析赛题数据的分布规律 ####2.数据读取 代码示例： import pandas as pd file_dir = "nlp_data_list" train_df = pd.read_csv("./{} ...
分类：
其他好文 时间：
2020-07-23 01:45:01
阅读次数：
80
