之前写过一篇 C# SqlBulkCopy 大量数据导入到数据库 的文章介绍了大量数据导入到数据库的高效方法。 这篇文章与之有些关联，在这之前所想的是做全量插入，每次run这个job就会清空然后插入，但是面对大量的数据，每次产生的流量是很大的，尤其是数据来自一些付费的API时，无疑增大了很多开销。所 ...
分类：
数据库 时间：
2018-03-30 16:17:18
阅读次数：
4105
实际的测试代码和数据记录，还有最终的总结都在下面： 当然，这里还有我们的另外一种做法； SqlBulkCopy 接口描述 Microsoft SQL Server 提供一个称为 bcp 的流行的命令提示符实用工具，用于将数据从一个表移动到另一个表（表既可以在同一个服务器上，也可以在不同服务器上）。 ...
分类：
其他好文 时间：
2017-12-09 15:56:51
阅读次数：
205
看到标题 应该会奇怪 SqlBulkCopy 为什么会效率低下 场景：接手项目 数据库SQLSERVER2008R2, 目前有一张流水表单表数据超过4亿，表中建有索引，有其他模块对这个表进行查询操作，无其他写入操作，每天需要有将近100W的数据批量写入 目前 用SqlBulkCopy 进行批量插入， ...
分类：
数据库 时间：
2017-10-17 18:56:20
阅读次数：
138
/// /// 批量保存多表 /// /// /// /// public static void SqlBatchCopy(DataTable dt, string TableName,DataTable dt1, string TableName1) ... ...
分类：
数据库 时间：
2017-09-27 18:52:52
阅读次数：
195
最近看了看公司的导入,清洗,同步数据。想自己也实现下 首先用SqlBulkCopy批量导入，然后用Partition by对要删除的数据进行分组，然后删除ID>1的数据。同步数据就是对源数据进行查询，然后批量更新目标数据。 我用MVC实现了下，代码实现如下: 前台代码 后台代码 DBUtility数 ...
分类：
其他好文 时间：
2017-09-15 13:37:57
阅读次数：
187
using (SqlBulkCopy sqlbulkcopy = new SqlBulkCopy(da.Connection as SqlConnection, SqlBulkCopyOptions.Default, tran as SqlTransaction)) { sqlbulkcopy.Ba ...
分类：
数据库 时间：
2017-07-25 18:09:11
阅读次数：
192
第一个问题, 解决方法:dt.addcolunms("名字","类型"),类型不能为typeof( int?),typeof(datetime?)等可空值类型.字符串可以.所以可空值类型改成不可空即可. 第二问题, 解决方法: bulkCopy.WriteToServer(dt);先检查dt的列类型 ...
分类：
数据库 时间：
2017-07-10 22:09:40
阅读次数：
2331
前些日子，公司要求做一个数据导入程序，要求将Excel数据，大批量的导入到数据库中，尽量少的访问数据库，高性能的对数据库进行存储。于是在网上进行查找，发现了一个比较好的解决方案，就是采用SqlBulkCopy来处理存储数据。SqlBulkCopy存储大批量的数据非常的高效，就像这个方法的名字一样，可 ...
分类：
数据库 时间：
2017-06-22 18:40:02
阅读次数：
200
最近公司需要优化导入的问题，由于之前使用的方式是生成 Insert 语句插入数据库，数据量小的时候还行，但是随着发展数据量渐渐大了，之前的方法性能就跟不上了，于是发现了 SqlBulkCopy 这个类。 使用 SqlBulkCopy 类只能向 SQL Server 表写入数据。但是，数据源不限于 S ...
分类：
数据库 时间：
2017-05-21 19:48:50
阅读次数：
218
