Bcp 使用心得【转】

标签：并且   close   交互模式   ash   tput   兼容性   名称   描述   格式化   

在做这方面研究的时候，的确遇到了不少麻烦。

首先在做bcp的时候，要开通大数据量访问权限

一、基于sql语句的导入导出

如果是基于SQL语句的导入导出，需要使用存储过程“master..xp_cmdshell”，默认情况下，sql server2005、sql server2008安装完后,xp_cmdshell是禁用的(可能是安全考虑)，如果未开通，会报如下错误：（查询分析器：使用xp_cmdshell需要开启服务器的设置且需要开通账户的权限。这个权限DBA是不会给开启的）

消息 15281，级别 16，状态 1，过程 xp_cmdshell，第 1 行

SQL Server 阻止了对组件 ‘xp_cmdshell‘ 的 过程 ‘sys.xp_cmdshell‘ 的访问，因为此组件已作为此服务器安全配置的一部分而被关闭。系统管理员可以通过使用 sp_configure 启用 ‘xp_cmdshell‘。有关启用 ‘xp_cmdshell‘ 的详细信息，请参阅 SQL Server 联机丛书中的 "外围应用配置器"。

有两种开关方式：

                         i.              Sql命令开启

-- 允许配置高级选项

EXEC sp_configure ‘show advanced options‘, 1

GO

-- 重新配置

RECONFIGURE

GO

-- 启用xp_cmdshell

EXEC sp_configure ‘xp_cmdshell‘, 1

GO

--重新配置

RECONFIGURE

GO

--执行想要的xp_cmdshell语句

Exec xp_cmdshell ‘query user‘

GO

--用完后,要记得将xp_cmdshell禁用(出于安全考虑)

-- 允许配置高级选项

EXEC sp_configure ‘show advanced options‘, 1

GO

-- 重新配置

RECONFIGURE

GO

-- 禁用xp_cmdshell

EXEC sp_configure ‘xp_cmdshell‘, 0

GO

--重新配置

RECONFIGURE

GO

b)         图形方式开启

1. sql2008方案、

选择数据库服务器，右键→方面→外围应用配置器→XPCmdShellEnabled，true为启用，false为禁用

1. sql2005方案

在外围应用配置器中设置，如下图

c)         Sds

二、基于cmd的访问

         默认情况下，只要你安装了sql或sql的客户端，直接用dos命令就可以访问bcp，如果使用bcp无法访问，说明你的环境变量path没有配置sql server的路径，需要加上如下路径：C:\Program Files\Microsoft SQL Server\100\Tools\Binn（这个是我本机bcp.exe的路径），可以依据自己的情况进行配置。

         如果安装完sql的客户端，不重启机器的话，用程序调用cmd去执行bcp是无法访问的；直接在dos命令中写bcp命令，是没有问题的；目前的job就遇到此问题，如果大家有兴趣的话，可以研究下，这个目前还不太确定。

三、 Bcp语法

代码:

bcp {[[database_name.][owner].]{table_name | view_name} | "query"}

    {in | out | queryout | format} data_file

    [-m max_errors] [-f format_file] [-e err_file]

    [-F first_row] [-L last_row] [-b batch_size]

    [-n] [-c] [-w] [-N] [-V (60 | 65 | 70)] [-6]

    [-q] [-C code_page] [-t field_term] [-r row_term]

    [-i input_file] [-o output_file] [-a packet_size]

    [-S server_name[\instance_name]] [-U login_id] [-P password]

    [-T] [-v] [-R] [-k] [-E] [-h "hint [,...n]"]

参数database_name

指定的表或视图所在数据库的名称。如果未指定，则为用户默认数据库。

owner

表或视图所有者的名称。如果执行大容量复制操作的用户拥有指定的表或视图，则 owner 是可选的。如果没有指定 owner 并且执行大容量复制操作的用户不拥有指定的表或视图，则 Microsoft? SQL Server? 2000 将返回错误信息并取消大容量复制操作。

table_name

是将数据复制到 SQL Server 时 (in) 的目的表名，以及从 SQL Server 复制数据时 (out) 的源表名。

view_name

是将数据复制到 SQL Server 时 (in) 的目的视图名，以及从 SQL Server 复制数据时 (out) 的源视图名。只有其中所有列都引用同一个表的视图才能用作目的视图。有关将数据复制到视图的限制的更多信息，请参见 INSERT。

Query

是返回一个结果集的 Transact-SQL 查询。如果查询返回多个结果集，例如指定 COMPUTE 子句的 SELECT 语句，只有第一个结果集将复制到数据文件，随后的结果集被忽略。使用双引号引起查询语句，使用单引号引起查询语句中嵌入的任何内容。在从查询中大容量复制数据时，还必须指定 queryout。

in | out | queryout | format

指定大容量复制的方向。in 是从文件复制到数据库表或视图，out 是指从数据库表或视图复制到文件。只有从查询中大容量复制数据时，才必须指定 queryout。根据指定的选项（-n、-c、-w、-6 或 -N）以及表或视图分隔符，format 将创建一个格式文件。如果使用 format，则还必须指定 -f 选项。

说明 Microsoft SQL Server 6.5 中的 bcp 实用工具不支持大容量复制到包含 sql_variant 或 bigint 数据类型的表。

data_file

大容量复制表或视图到磁盘（或者从磁盘复制）时所用数据文件的完整路径。当将数据大容量复制到 SQL Server 时，此数据文件包含将复制到指定表或视图的数据。当从 SQL Server 大容量复制数据时，该数据文件包含从表或视图复制的数据。路径可以有 1 到 255 个字符。

-m max_errors

指定在大容量复制操作取消之前可能产生的错误的最大数目。bcp 无法复制的每一行都将被忽略并计为一个错误。如果没有包括该选项，则默认为 10。

-f format_file

指定格式文件的完整路径，该格式文件包含以前在同一个表或视图上使用 bcp 时的存储响应。当使用由 format 选项所创建的格式文件大容量复制入或复制出数据时，使用此选项。格式文件的创建是可选的。在提示几个格式问题之后，bcp 将提示是否在格式文件中保存回答。默认文件名为 Bcp.fmt。大容量复制数据时，bcp 可引用一个格式文件，因此不必重新交互输入以前的回答。如果未使用此选项，也没有指定 –n、-c、-w、-6 或 -N，则 bcp 将提示输入格式信息。

-e err_file

指定错误文件的完整路径，此错误文件用于存储 bcp 无法从文件传输到数据库的所有行。来自 bcp 的错误信息将发送到用户工作站。如果未使用此选项，则不创建错误文件。

-F first_row

指定要大容量复制的第一行的序数。默认值是 1，表示在指定数据文件的第一行。

-L last_row

指定要大容量复制的最后一行的序数。默认值是 0，表示指定数据文件中的最后一行。

-b batch_size

指定所复制的每批数据中的行数。每个批处理作为一个事务复制至服务器。SQL Server 提交或回滚（在失败时）每个批处理的事务。默认情况下，指定的数据文件中的所有数据都作为一批复制。请不要与 -h "ROWS_PER_BATCH = bb" 选项一起使用。

-n

使用数据的本机（数据库）数据类型执行大容量复制操作。此选项不提示输入每一字段，它将使用本机值。

-c

使用字符数据类型执行大容量复制操作。此选项不提示输入每一字段；它使用 char 作为存储类型，不带前缀，\t（制表符）作为字段分隔符，\n（换行符）作为行终止符。

-w

使用 Unicode 字符执行大容量复制操作。此选项不提示输入每一字段；它使用 nchar 作为存储类型，不带前缀，\t（制表符）作为字段分隔符，\n（换行符）作为行终止符。不能在 SQL Server 6.5 版或更早版本中使用。

-N

对非字符数据使用数据的本机（数据库）数据类型和对字符数据使用 Unicode 字符类型执行大容量复制操作。这是可替代 -w 选项的性能更高的选项，其目的是使用数据文件将数据从一个 SQL Server 传输到另一个 SQL Server 中。它不提示输入每一字段。在需要传输包含 ANSI 扩展字符的数据以及想利用本机模式的性能时，可以使用这一选项。不能在 SQL Server 6.5 版或更早版本中使用 -N 选项。

-V (60 | 65 | 70)

使用 SQL Server 早期版本中的数据类型执行大容量复制操作。此选项与字符 (-c) 或本机 (-n) 格式一起使用。此选项并不提示输入每一字段，它使用默认值。例如，若要将 SQL Server 6.5 中的 bcp 实用工具所支持（但 ODBC 不再支持）的日期格式大容量复制到 SQL Server 2000，可使用 -V 65 参数。

重要 将数据从 SQL Server 大容量复制到数据文件时，即使指定了 –V，bcp 实用工具也不会为任何 datetime 或 smalldatetime 数据生成 SQL Server 6.0 或 SQL Server 6.5 的日期格式。日期将始终以 ODBC 格式写入。另外，由于 SQL Server 6.5 版或更早版本不支持可为空的 bit 数据，因此 bit 列中的空值写为值 0。

-6

使用 SQL Server 6.0 或 SQL Server 6.5 数据类型执行大容量复制操作。仅为保持向后兼容性。改为使用 –V 选项。

-q

在 bcp 实用工具和 SQL Server 实例的连接中执行 SET QUOTED_IDENTIFIERS ON 语句。使用该选项指定包含空格或引号的数据库、所有者、表或视图的名称。将由三部分组成的整个表名或视图名引在双引号 (" ") 中。

-C code_page

仅为保持向后兼容性。作为代替，请在格式文件或交互式 bcp 中为每一列指定一个排序规则名。

指定数据文件中的数据代码页。只有当数据中包含字符值大于 127 或小于 32 的 char、varchar 或 text 列时，code_page 才有用。

代码页值 描述

ACP ANSI/Microsoft ? (ISO 1252)。

OEM 客户程序使用的默认代码页。如果未指定 -C，则这是 bcp 使用的默认代码页。

RAW 不发生从一个代码页到另一个代码页的转换。因为不发生转换，所以这是最快的选项。

<值> 特定的代码页号码，例如 850。

-t field_term

指定字段终止符。默认的字段终止符是 \t（制表符）。使用此参数替代默认字段终止符。

-r row_term

指定行终止符。默认的行终止符是 \n（换行符）。使用此参数替代默认行终止符。

-i input_file

指定响应文件的名称，使用交互模式（未指定 –n、-c、-w、-6 或 -N）执行大容量复制时，响应文件包含对每一字段命令提示问题的响应。

-o output_file

指定接收 bcp 输出（从命令提示重定向）的文件的名称。

-a packet_size

指定发送到和发送自服务器的每个网络数据包的字节数。可以使用 SQL Server 企业管理器（或 sp_configure 系统存储过程）设置服务器配置选项。但是，使用此选项可以单个地替代服务器配置选项。packet_size 可以设置为 4096 到 65535 字节，默认值为 4096。

数据包大小的增加能够提高大容量复制操作的性能。如果要求一个较大的数据包而得不到，则使用默认设置。bcp 生成的性能统计显示出所使用数据包的大小。

-S server_name[\instance_name]

指定要连接到的 SQL Server 实例。指定 server_name 以连接该服务器上的 SQL Server 默认实例。指定 server_name\instance_name 以连接到该服务器上的 SQL Server 2000 命名实例。如果未指定服务器，则 bcp 连接到本地计算机上的 SQL Server 默认实例。从网络上的远程计算机执行 bcp 时，要求此选项。

-U login_id

指定用于连接到 SQL Server 的登录 ID。

-P password

指定登录 ID 的密码。如果未使用此选项，则 bcp 将提示输入密码。如果不带密码将此选项用于命令提示行末尾，则 bcp 将使用默认密码 (NULL)。

-T

指定 bcp 使用网络用户的安全凭据，通过信任连接连接到 SQL Server。不需要 login_id 和 password。

-v

报告 bcp 实用工具的版本号和版权。

-R

指定使用为客户端计算机的区域设置定义的区域格式，将货币、日期和时间数据大容量复制到 SQL Server 中。默认情况下，将会忽略区域设置。

-k

指定在大容量复制操作中空列应保留一个空值，而不是对插入的列赋予默认值

-E

指定标识列的值出现在要导入的文件中。如果没有给出 -E，则正导入的数据文件中此列的标识值将被忽略，而且 SQL Server 2000 会根据创建表期间指定的种子值和增量值自动指派唯一的值。如果数据文件的表或视图中不包含标识列的值，则使用格式文件指定导入数据时应跳过表或视图中的标识列；SQL Server 2000 将自动为该列指派唯一值。有关详细信息，请参见 DBCC CHECKIDENT。

-h "hint [,...n]"

指定在大容量复制数据到表或视图时所使用的提示。在大容量复制数据到 SQL Server 6.x 或更早版本时，不能使用此选项。

提示 描述

ORDER (column [ASC | DESC] [,...n]) 数据文件中数据的排序次序。如果要装载的数据已根据表中的聚集索引排序，则会提高大容量复制的性能。如果数据文件按不同次序排序，或者该表没有聚集索引，则将忽略 ORDER 提示。所提供的列名必须是目的表中的有效列。默认情况下，bcp 假设数据文件没有排序。

ROWS_PER_BATCH = bb 每批中数据的行数（即 bb）。在未指定 -b 时使用，这将使整个数据文件作为单个事务发送到服务器。服务器根据值 bb 优化大容量装载。默认情况下，ROWS_PER_BATCH 未知。

KILOBYTES_PER_BATCH = cc 每批中数据的千字节 (KB) 近似数量（即 cc）。默认情况下，KILOBYTES_PER_BATCH 未知。

TABLOCK 大容量复制操作期间将获取表级锁。由于只在大容量复制操作期间才控制锁减少了表中锁的争夺，因此此提示可以显著提高性能。如果表没有索引并且指定了 TABLOCK，则该表可以同时由多个客户端装载。默认情况下，锁定行为是由表选项 table lock on bulk load 决定的。

CHECK_CONSTRAINTS 大容量复制操作期间，将检查目的表上的所有约束。默认情况下，将会忽略约束。

FIRE_TRIGGERS 与 in 参数一起指定，在目的表上定义的任何插入触发器将在大容量复制操作期间执行。如果没有指定 FIRE_TRIGGERS，则不执行插入触发器。对于 out、queryout 和 format 参数，将忽略 FIRE_TRIGGERS。

注释

将忽略要导入的数据文件中计算列或 timestamp 列的值，SQL Server 2000 自动赋值。如果数据文件不包含表中的计算列或 timestamp 列的值，可用格式文件指定应在导入数据时跳过表中的计算列和 timestamp 列；SQL Server 将自动为该列赋值。

计算列和 timestamp 列照常会从 SQL Server 大容量复制到一个数据文件。

SQL Server 标识符（包括数据库名称、表名或视图名、登录和密码）可以包含诸如嵌入空格和引号等字符。当在命令提示符处指定包含空格或引号的标识符或文件名时，需要将该标识符引在双引号(" ") 内。另外，对于包含嵌入空格或引号的所有者、表或视图的名称，可以指定 -q 选项，或者将所有者、表或视图的名称在双引号内用方括号 ([ ]) 括起来。

四、 简单示例：

导出：

导出整张表：

bcp master.dbo.spt_values out E:\b.txt -S".\SQLEXPRESS" -U"sa" -P"123456" -c

bcp master.dbo.spt_values out E:\b.txt -S".\SQLEXPRESS" -T –c

bcp master.dbo.spt_values out  E: \a.dat -S".\SQLEXPRESS" -U"sa" -P"123456" -t"," -c

依据查询整张表：

bcp "SELECT * FROM master.dbo.spt_values" queryout E:\b.txt -S".\SQLEXPRESS" -U"sa" -P"123456" -c

bcp "SELECT * FROM master.dbo.spt_values" queryout E:\b.txt -S".\SQLEXPRESS" -T -c

导入：

普通导入：bcp master.dbo. spt_values in E:\b.txt -S".\SQLEXPRESS" -U"sa" -P"123456" -c

格式化导入：

Bcp BI.dbo.tab in E:\BI固化数据\a.dat -f E:\a.fmt -S".\SQLEXPRESS" -U"sa" -P"123456" -t","

格式化：

Fmt文件

bcp SCM.dbo.tab format nul  -f E:\BI固化数据\a.fmt -S"PEK7-6TKX23X\SQLEXPRESS" -U"sa" -P"123456" -c -t","

XML文件

bcp SCM.dbo.tab format nul  -x -f E:\BI固化数据\t.xml -S"PEK7-6TKX23X\SQLEXPRESS" -U"sa" -P"123456 " -c -t","

查询分析器导入导出：

导出

EXEC master..xp_cmdshell ‘bcp Caching_Test..v_v_v_V out  D:\Website\BI固化数据\2013\e.txt  -S"PEK7-6TKX23X\SQLEXPRESS" -U"sa" -P"qjx@126.com" -c -k -e -x ‘

导入

EXEC master..xp_cmdshell ‘BCP Caching_Test.dbo.vd_Day_Platform_Distinguish_Brand in D:\Website\V+平台的数据区分品牌按日\2013\b.txt -S"PEK7-6TKX23X\SQLEXPRESS" -U"sa" -P"qjx@126.com" -c ‘

五、     使用格式化文件跳过表列 (SQL Server)

 使用非 XML 格式化文件

可以修改非 XML 格式化文件以跳过某个表列。 此操作通常是使用 bcp 实用工具创建一个默认非 XML 格式化文件，并在文本编辑器中修改此默认文件。 修改过的格式化文件必须将每个现有字段映射到相应的表列并指明要跳过哪个或哪些表列。 修改默认非 XML 数据文件的方法有两种。 两种方法都假定数据文件中没有数据字段，并且不会有数据插入到对应的表列中。

创建默认非 XML 格式化文件

本主题使用默认非 XML 格式化文件，此文件是使用以下 bcp 命令为 myTestSkipCol 示例表创建的：

bcp AdventureWorks2012..myTestSkipCol format nul -f myTestSkipCol_Default.fmt -c -T

以上命令创建了一个非 XML 格式化文件，myTestSkipCol_Default.fmt。 此格式化文件称为“默认格式化文件”，因为它是 bcp 生成的格式。 默认格式化文件通常说明数据文件字段与表列之间的一一对应关系。

下图显示了此默认格式化文件示例中的值。 图中还显示了格式化文件各个字段的名称。

修改非 XML 格式化文件的方法

若要跳过某个表列，可编辑默认非 XML 格式化文件并使用以下方法之一修改此文件：

• 首选方法包括三个基本步骤。 首先，删除说明数据文件中丢失字段的任何格式化文件行。 然后，减小所删除行后的每个格式化文件行的“宿主文件字段顺序”值。 这是为了使“宿主文件字段顺序”值按顺序排列（1 到 n），它反映了数据文件中各个数据字段的实际位置。 最后，减小“列数”字段中的值以反映数据文件中的实际字段数。

下面的示例基于 myTestSkipCol 表的默认格式化文件，此文件是在本主题先前的“创建默认非 XML 格式化文件”中创建的。 此修改过的格式化文件将第一个数据字段映射到 Col1，并跳过 Col2 将第二个数据字段映射到 Col3。 已删除 Col2 的行。 其他修改以粗体表示：

9.0

2

1       SQLCHAR       0       7       "\t"     1     Col1         ""

2       SQLCHAR       0       100     "\r\n"   3     Col3         SQL_Latin1_General_CP1_CI_AS

• 若要跳过某个表列，也可以修改与表列对应的格式化文件行的定义。 在此格式化文件行中，“前缀长度”、“宿主文件数据长度”和“服务器列顺序”值必须设置为 0， 并且“终止符”和“列排序规则”字段必须设置为 "" (NULL)。

“服务器列名”值必须为非空白字符串，但不一定为实际列名。 其余格式字段必须为它们的默认值。

下面的示例也是从 myTestSkipCol 表的默认格式化文件派生出来的。 必须为 0 或 NULL 的值以粗体表示。

9.0

3

1       SQLCHAR       0       7       "\t"     1     Col1         ""

2       SQLCHAR       0        0       ""      0     Col2         ""

3       SQLCHAR       0       100     "\r\n"   3     Col3         SQL_Latin1_General_CP1_CI_AS

导入命令为：

bcp SCM.dbo.tab format nul  -f E:\BI固化数据\a.fmt -S"PEK7-6TKX23X\SQLEXPRESS" -U"sa" -P"123456" -c -t","

参考资料：http://oylyww.i.sohu.com/blog/view/156215656.htm

http://msdn.microsoft.com/zh-cn/library/ms179250.aspx

http://msdn.microsoft.com/zh-cn/library/ms187908.aspx

http://msdn.microsoft.com/zh-cn/library/ms191175.aspx

 bcp cmd访问

  #region 执行Cmd命令(前面不要加BCP，只写后面的部分)
        /// <summary>         /// 执行Cmd命令(前面不要加BCP，只写后面的部分)         /// 确保服务器上已经安装sql，否则使用不了bcp命令，         /// 如果没有安装sqlserver需要将bcp.exe拷贝到相应目录         /// </summary>         /// <param name="commandText">命令</param>         /// <param name="itemName">项目名称</param>         /// <returns></returns>         public static string ExeCommand(string commandText, string itemName)         {             //commandText = BCP + commandText;             Process p = new Process();             p.StartInfo.FileName = "cmd.exe";             p.StartInfo.UseShellExecute = false;             p.StartInfo.RedirectStandardInput = true;             p.StartInfo.RedirectStandardOutput = true;             p.StartInfo.RedirectStandardError = true;             p.StartInfo.CreateNoWindow = true;             string strOutput = null;             string error = "";             try             {                 p.Start();                 p.StandardInput.WriteLine(commandText);                 p.StandardInput.WriteLine("exit");                 strOutput = p.StandardOutput.ReadToEnd();                 error = p.StandardError.ReadToEnd();                 p.WaitForExit();                 p.Close();             }             catch (Exception e)             {                 //throw new Exception(e.Message);                 error = p.StandardError.ReadToEnd();                 strOutput = e.Message;             }             if (!string.IsNullOrWhiteSpace(error))                 SendEmail("BCP-JOB-错误:" + itemName, error + "\n" + strOutput);             return error + "\n" + strOutput;         }
        #endregion

未解决问题：bcp将本地txt文本导入远程sqlserver中,本地未装sqlserver

此种方案试过之后，没有实现预想的功能。

上次写的bcp导入是在有sqlserver环境下进行的远程导入，由于项目需要我做了修改，因为在开发项目中，遇到对大型数据库导 入导出处理，客户要求环境是web服务器、文件服务器和数据库服务器搭配，web服务器上不允许安装sqlserver，在没有bcp的环境下导入大批量 的文本数据，不能直接调用cmd命令进行导入，必须引用外部bcp.exe文件来进行数据导入，引用时必须将sqlserver的bcp.exe和 bcp.rll两个文件复制到web服务器上，如下这两个文件我都放在项目中的compant文件夹里：

using System; using System.Data; using System.Data.SqlClient; using System.Diagnostics; 代码         PRivate void Page_Load(object sender, System.EventArgs e)         {             // 在此处放置用户代码以初始化页面             Process p = new Process();             p.StartInfo.FileName = Server.MapPath("compant/bcp.exe");             p.StartInfo.UseShellExecute = false;             //@必须加上，不然特殊字符会被自动过滤掉             p.StartInfo.Arguments = @"Test..BcpTest in D:\temp.txt -S -Usa -P1 -c -t," ;             try             {                 p.Start();                 p.WaitForExit();                 p.Close();             }             catch             {}         }

应用程序服务器安装完sql的客户端，不重启机器的话，用程序调用cmd去执行bcp是无法访问的；直接在dos命令中写bcp命令，是没有问题的；目前的job就遇到此问题，如果大家有兴趣的话，可以研究下

Bcp 使用心得【转】

标签：并且   close   交互模式   ash   tput   兼容性   名称   描述   格式化   

原文地址：http://www.cnblogs.com/bluedy1229/p/7207865.html