前段时间做的东西，闲下来做一下整理记录。 业务：将数据从本地恢复到ES上，本地文件较大，解压后数据量在10个G左右的数据。 逻辑处理：针对业务需求，共尝试过三次实践。 一、使用bulk：ES本地支持的批量导入方式，推荐文本大小在10-15M左右，文件的上限应该是不能超过200M（不确定）。 二、使用 ...
分类：
Web程序 时间：
2019-06-24 16:39:35
阅读次数：
189
1、官方文档说法： Oracle支持在表空间（tablespace）、数据表（table）和分区（Partition）级别的压缩，如果设置为表空间级别，那么默认将该表空间中的全部的表都进行压缩。压缩操作可以在数据单条插入、数据修改和数据批量导入时发生。 As your database grows ...
分类：
数据库 时间：
2019-06-23 21:18:21
阅读次数：
145
背景 项目需要解析word表格 需要批量导入系统，并保存每行信息到数据库 并且要保存word中的图片， 并保持每条信息和图片的对应关系 一行数据可能有多条图片 解决办法 没有找到现成的代码，怎么办呐？看源码吧 分享快乐 给出代码 java package com.util; import org.a ...
分类：
其他好文 时间：
2019-06-07 19:14:18
阅读次数：
125
Top NSD ARCHITECTURE DAY04 案例1：导入数据 案例2：综合练习 1 案例1：导入数据 1.1 问题 本案例要求批量导入数据： 批量导入数据并查看 1.2 步骤 实现此案例需要按照如下步骤进行。 步骤一：导入数据 使用POST方式批量导入数据，数据格式为json，url 编码 ...
分类：
其他好文 时间：
2019-04-28 19:03:42
阅读次数：
137
通过views.py文件中创建 第1种方法循环创建数据， 这种方法不推荐，因为每一次循环都会连接一次数据库，效率较慢 第2种方法先创建一个空列表，将循环的对象加入到空列表中，再一次性在数据库中创建，效率高 要使用bulk_create方法进行批量创建 也可以使用列表解析替代for循环会更快 第3种方 ...
分类：
其他好文 时间：
2019-04-16 09:26:12
阅读次数：
347
故障现象生产中的一组MySQL双主（主库A和主库B）+Keepalived高可用单写（主库A），出现B库高延时问题。检查B库复制状态如下图1：（B库的复制状态—图1）问题分析1、和开发人员确认，这组MySQL双主每天有批量的数据导入操作，业务是网站展示前一天股票大盘指数，数据是由脚本批量导入，从而产生了复制延时。2、通过对导数据脚本分析，导数据是对一个表先进行delete后进行insert操作；股
分类：
数据库 时间：
2019-04-08 11:53:24
阅读次数：
240
MySQL批量插入问题在开发项目时，因为有一些旧系统的基础数据需要提前导入，所以我在导入时做了批量导入操作,但是因为MySQL中的一次可接受的SQL语句大小受限制所以我每次批量虽然只有500条，但依然无法插入，这个时候代码报错如下：nestedexceptioniscom.mysql.jdbc.PacketTooBigException:Packetforqueryistoolarge(56778
分类：
数据库 时间：
2019-04-02 10:54:30
阅读次数：
220
写这篇文章之前想着给这篇博客起一个文艺一点的标题，思来想去，想到了那些年我们爬过的山，或者我们一起趟过的河？代码不规范，同事两行泪，这是多么痛的领悟啊！ 背景 本组一名实习生，由于学校有事情需要回去处理，我便将他的代码接管过来，正好赶上本次迭代上线，需要将同事的代码提交测试，如果被测试出来有bug， ...
分类：
其他好文 时间：
2019-03-09 23:40:31
阅读次数：
208
