近日升级包下载过程中发现一例问题：升级包下载到99.5卡顿，然后报无法获取网络资源。本文对该问题的做详细定位和总结。问题原因：下载过程中断网，由于批量写入，因此下载浮标位置更新了，而实际上有一段数据未写入。此时下载完毕了，而系统计算只有99.5左右（有一段数据丢失）。此时服务器上已经无数据可下，而系...
分类：
其他好文 时间：
2016-01-12 11:46:36
阅读次数：
164
项目中，为了实现删除原有元素再循环插入数据打算使用字符串拼凑的方式拼凑出一段批量写入数据SQL，出现以下神奇的BUG拼凑中某些语句被吞了开启debug查看：第一次拼凑，into后面的语句全部被吞第二次拼凑，语句完全错乱检查代码均是正常，决定更换一种方式，把实现分开写，先删除完成后再逐条写入（数据已验...
分类：
数据库 时间：
2015-12-22 06:26:47
阅读次数：
197
近来有一个项目Feature需要有批量写入数据的场景，正巧整理资料发现自己以前也类似实现的项目，在重构的同时把相关资料做了一个简单的梳理，方便大家参考。循环写入（简单粗暴，毕业设计就这样干的）（不推荐）Bulk Copy写入（>1000K 记录一次性写入推荐）表值参数方式写入（mssql 2008新...
分类：
数据库 时间：
2015-12-05 17:35:41
阅读次数：
320
框架介绍 该框架主要用于数据库访问，封装了包括： 1、sql智能参数转换； 2、sql语句存储于配置文件； 3、sql查询输出实体或实体集； 4、分页查询； 5、批量写入； 6、简单的ORM功能； ……，该框架的设计思想来源于现在公司所用的一套数据访问框架，但本框架其内部的代码和架构...
分类：
数据库 时间：
2015-11-19 01:48:28
阅读次数：
164
void IDataAccess.CommandDataTable(DataTable dt, string ProcedureName, System.Data.Common.DbParameter[] para) { _sqlConnection = ne...
分类：
其他好文 时间：
2015-10-19 19:03:41
阅读次数：
148
前几天做一个批量发消息的功能，因为要向消息表中批量写入数据，用的EF框架的插入方法；不用不知道，一用吓一跳；就10000条数据就耗时好几分钟，对应追求用户体验的我来说这是极不能容忍的，后来改为拼接SQL，性能提高了好几倍；现在来分享一下经验：原始的方法类似这种： 1 public A...
分类：
其他好文 时间：
2015-08-21 19:20:21
阅读次数：
221
背景平台目前的分析任务主要以Hive为主，分析后的结果存储在HDFS，用户通过REST API或者Rsync的方式获取分析结果，这样的方式带来以下几个问题：（1）任务执行结束时间未知，用户必须自行编写代码不断地通过REST API请求分析结果，直至获取到分析结果为止，其中还需要处理分析结果过大，转而...
分类：
数据库 时间：
2015-08-17 21:14:18
阅读次数：
207
1.课程大纲本课程主要讲解 MongoDB 数据更新的相关内容，包括文档插入 insert 函数、文档删除 remove函数以及文档更新update函数的基本使用。除此之外，还会介绍 MongoDB 的写安全机制、批量写入Bulk函数等内容。
MongoDB 文档插入和删除
MongoDB 文档修改
MongoDB 的写安全机制
2.课程简介
本课时，首先会从整体上对MongoDB 数据更...
分类：
数据库 时间：
2015-08-13 15:51:51
阅读次数：
134
1. page_attrs的状态转换关系 之前说过，bitmap的优化核心是：bitmap设置后批量写入；bitmap延时清除。写bit用bitmap_statrwrite() + bitmap_unplug()两个函数，实现了bitmap设置后的批量写入；清bit用bitmap_endwrite....
分类：
其他好文 时间：
2015-07-19 01:24:39
阅读次数：
226
这篇文章主要介绍了php从memcache读取数据再批量写入mysql的方法,可利用memcache缓解服务器读写压力,并实现数据库数据的写入操作,非常具有实用价值,需要的朋友可以参考下.用 Memcache 可以缓解 php和数据库压力下面代码是解决高负载下数据库写入瓶颈问题,遇到最实用的:写入i...
分类：
数据库 时间：
2015-06-26 10:44:37
阅读次数：
160
