标签：comm com map ons 解决 创建 man 查找 nbsp
前些日子，公司要求做一个数据导入程序，要求将Excel数据，大批量的导入到数据库中，尽量少的访问数据库，高性能的对数据库进行存储。于是在网上进行查找，发现了一个比较好的解决方案，就是采用SqlBulkCopy来处理存储数据。SqlBulkCopy存储大批量的数据非常的高效，就像这个方法的名字一样，可以将内存中的数据表直接的一次性的存储到数据库中，而不需要一次一次的向数据库Insert数据。初次实验，百万级别的数据表，也只需几秒时间内就可以完全的存入数据库中，其速度，比传统的Insert方法不止快很多倍。下面，我将用代码，介绍其用法。
/// <summary> /// LaborReport Data Import To Database /// </summary> /// <param name="laborReport">laborReport data table</param> /// <param name="laborReportDetail">laborReportDetail data table</param> public void LaborReportInsert(DataTable laborReport, DataTable laborReportDetail) { using (SqlConnection conn = new SqlConnection(this.Connection)) { if (conn.State != ConnectionState.Open) conn.Open(); using (SqlBulkCopy sqlBCLaborReport = new SqlBulkCopy(conn)) { sqlBCLaborReport.BatchSize = laborReport.Rows.Count; sqlBCLaborReport.BulkCopyTimeout = 60; sqlBCLaborReport.DestinationTableName = "LaborReport"; sqlBCLaborReport.WriteToServer(laborReport); } using (SqlBulkCopy sqlBCLaborReportDetails = new SqlBulkCopy(conn)) { sqlBCLaborReportDetails.BatchSize = laborReportDetail.Rows.Count; sqlBCLaborReportDetails.BulkCopyTimeout = 60; sqlBCLaborReportDetails.DestinationTableName = "LaborReportDetails"; sqlBCLaborReportDetails.WriteToServer(laborReportDetail); } if (conn.State != ConnectionState.Closed) conn.Close(); } }
上边的示例代码，将内存中的两个DataTable 数据一次性的存入数据库中，只要内存中的数据表格的结构跟数据库中的表格结构一样，就可以了，如果数据库中包含自增列字段，我们可以不需要在内存表中定义，当数据保存到数据库中的时候，自增列会自动生成数据的。
//数据批量导入sqlserver,创建实例 System.Data.SqlClient.SqlBulkCopy?sqlbulk?=?new?System.Data.SqlClient.SqlBulkCopy(System.Configuration.ConfigurationManager.ConnectionStrings["connstr"].ToString()); //?目标数据库表 名 sqlbulk.DestinationTableName?=?"tablename"; //?数据集字段索 引与数据库字段索引映射 sqlbulk.ColumnMappings.Add(0,?5); sqlbulk.ColumnMappings.Add(1,?4); sqlbulk.ColumnMappings.Add(2,?7); sqlbulk.ColumnMappings.Add(3,?1); sqlbulk.ColumnMappings.Add(4,?10); sqlbulk.ColumnMappings.Add(5,?6); sqlbulk.ColumnMappings.Add(6,?2); //?导入 sqlbulk.WriteToServer(sqldb); sqlbulk.Close();
public void SqlBulkCopyDomo() { Dal.DalSql dal = new Dal.DalSql(); //获取源数据 string gongPanSql = @" select a,b,c,d from T where 条件过滤"; DataTable dtGongPan = dal.QueryByFind(gongPanSql).Tables[0];//sql帮助类 //数据复制 using (SqlConnection conn = new SqlConnection(SqlConnString)) { // Open the connection. conn.Open(); using (SqlBulkCopy bulkCopy = new SqlBulkCopy(conn)) { // 设置目标表名称 bulkCopy.DestinationTableName = "HouseBase"; bulkCopy.BulkCopyTimeout = 3600;//超时时间设置 bulkCopy.BatchSize = 1000;//分批提交记录数，可不设 // 列名映射 bulkCopy.ColumnMappings.Add("源数据列", "目标表对应列名称"); bulkCopy.ColumnMappings.Add("a", "HouseCode"); bulkCopy.ColumnMappings.Add("b", "CommName"); bulkCopy.ColumnMappings.Add("c", "FenQiName"); bulkCopy.ColumnMappings.Add("d", "Seat"); //复制数据 bulkCopy.WriteToServer(dtGongPan); } } }
【大数据处理】高效能，大数据量存储方案SqlBulkCopy
标签：comm com map ons 解决 创建 man 查找 nbsp
原文地址：http://www.cnblogs.com/jhli/p/7066298.html
