预置条件： 使用sa帐号登录SQL Server Management Studio，右键点击安全性-登录名-数据库用户名属性，设置服务器角色为sysadmin。 删除已存在的存储过程 创建存储过程 执行存储过程 ...
分类：
数据库 时间：
2018-04-17 11:30:36
阅读次数：
169
一. Kafka Connect简介 Kafka是一个使用越来越广的消息系统，尤其是在大数据开发中（实时数据处理和分析）。为何集成其他系统和解耦应用，经常使用Producer来发送消息到Broker，并使用Consumer来消费Broker中的消息。Kafka Connect是到0.9版本才提供的并 ...
分类：
Web程序 时间：
2017-08-30 00:57:27
阅读次数：
339
© 版权声明：本文为博主原创文章，转载请注明出处 最近同事碰到大批量数据导入问题，因此也关注了一下。大批量数据导入主要存在两点问题：内存溢出和导入速率慢。 内存溢出：将文件中的数据全部取出放在集合中，当数据过多时就出现Java内存溢出，此时可通过调大JVM的最大可用内存（Xmx）解决， 但终究不是王 ...
分类：
数据库 时间：
2017-08-18 14:32:57
阅读次数：
218
PSQL.csv文件中，没有引号；直接写值，不管是啥数据类型；存在表，直接导入数据；bin/psql.py -t EXAMPLE localhost data.csv建表，导数据./psql.py localhost:2222 XXX.sql XXX.csvMapReduceetc/profilee... ...
分类：
其他好文 时间：
2017-03-07 13:21:55
阅读次数：
245
Database db = DatabaseFactory.CreateDatabase(); using (SqlConnection connection = (SqlConnection)db.CreateConnection()) { try { connection.Open(); str ...
大批量数据导入时，需要即时显示对文件的处理进度。考虑ajax轮询太浪费资源，使用websocket实现。 项目使用Spring MVC(3.1)，与websocket结合要求版本4.0以上。所以没有使用Spring提供的websocket。 1.依赖Tomcat 7 或者 J2EE 7 maven导
分类：
Web程序 时间：
2016-03-17 19:21:29
阅读次数：
412
介绍
??工作中常常会遇到这种情形，需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据，花费时间大概20分钟左右，本文Spark可用核数量为20。...
分类：
其他好文 时间：
2015-06-02 18:05:27
阅读次数：
535
Excel 07-2003一个工作表最多可有65536，行最多可有256列；Excel 2007及以后版本，一个工作表最多可有1048576行，16384列。
一、小批量数据处理：
方法一：用excel可以直接打开dbf或csv文件，数据库表for update，直接把excel表中想要的列值直接复制到pl/sql中 相对应字段。
方法二：若是dbf文件可用dbfplus工具转换成csv文件...
分类：
数据库 时间：
2015-02-05 11:17:20
阅读次数：
207
一直没有好好关注这个功能，昨天看了一下，数据库插入有瓶颈，今天研究了一下：主要有以下方案：1.使用copy从文件导入：copy table_001(a, b, "f", d, c, "e") from 'd:/data1.txt' (delimiter ','); 速度极快： 不带索引： 查询...
分类：
数据库 时间：
2014-06-26 19:54:31
阅读次数：
392
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Data;
using System.Windows.Documents;
us...
分类：
其他好文 时间：
2014-05-21 09:36:30
阅读次数：
302
