1.什么是SqlbulkCopy,解决的问题
在程序处理中经常会遇见大数据量的批量操作,比如我们要把一个文本格式的数据批量插入数据库。如果按照传统的逻辑只会将从文件中独处的数据轮询的方式一条一条的插入到目标数据库里面,这样反复连接打开数据库执行插入命令势必效率极其低下。所以很多程序在处理这样的插入操作的时候都是在半夜用户低风期处理,以免影响正常用户的使用。
.Net Framework...
分类:
数据库 时间:
2014-06-19 13:04:45
阅读次数:
397
我知道string和stringbuilder的区别,
string每次修改字符串都是新建,然后删除旧的串会很影响效率,而stringbuilder是在字符串的末尾操作,和string比较快,
在小数据库的时候string和stringbuilder没有什么大的影响,但是大数据量的时候,stringbuilder会比string快很多,
那为什么在.net框架下不去掉string呢,难道...
分类:
其他好文 时间:
2014-06-16 11:37:24
阅读次数:
213
大数据:大数据之好书推荐1.
解读大数据想全面了解大数据的方方面面,绝对不能错过《大数据时代—生活、工作与思维的变革》这本书。一本很容易读懂的书,不需要过多的专业知识,里面的每个点能让你有这样一种冲动——如果我把这个点不断扩大,是不是我就是下一个Facebook!非专业人员请不要有什么顾虑,即使你对...
分类:
其他好文 时间:
2014-06-16 08:58:56
阅读次数:
182
大数据时代的来临,不仅改变了企业运作模式、商业模式,更改变了千百万个普通群众的日常生活,成为现代生活中必不可少的一部分。
分类:
其他好文 时间:
2014-06-16 06:20:34
阅读次数:
152
从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。 如果你是《老友记》的粉丝,你一定不会忘记钱德勒。剧中,他总是不断地向人们解释自己的工作,似乎别人永远也搞不懂他所谓的“统计分析和数据修复专员”是做什么的?
这不能怪钱德勒,10年前,在《老友记》热播时,要向一个陌生人....
分类:
其他好文 时间:
2014-06-16 06:00:17
阅读次数:
382
最近学习大数据的处理,由于项目开发的需要,使用一种简单的方式来将Excel中的数据导入到数据库中,开发使用的kettle工具。 kettle工具安装很简单,从官网上下载下来之后,直接解压到制定的盘符下即可(前提是你配置了JAVA的环境变量,path,classpath)。 在WINDOWS环境下双击...
分类:
数据库 时间:
2014-06-15 22:10:06
阅读次数:
412
大数据与JS实现2014巴西世界杯冠军预测图 http://www.zuidaima.com/share/1855841547176960.htm...
分类:
Web程序 时间:
2014-06-15 08:13:32
阅读次数:
205
一年前,准备使用mongDb自带的map,reduce功能模拟hadoop,换个思路做一个简易的大数据分拆再结合存储的办法;这个功能可以用于数据日志或者游戏数据之类,进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类:
数据库 时间:
2014-06-14 22:38:35
阅读次数:
432
Apache Spark?is a fast and general engine for large-scale data processing: 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么,那么我们需要知道它解决了什么问题,还有是怎么解决这些问题的。
本文将带领你进入Spark的世界,首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出:通用,易用,高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式,交互式,实时查询,迭代...
分类:
其他好文 时间:
2014-06-14 11:57:03
阅读次数:
288
一. 算法描述
冒泡排序思想:依次比较相邻的数据,将小数据放在前,大数据放在后;即第一趟先比较第1个和第2个数,大数在后,小数在前,再比较第2个数与第3个数,大数在后,小数在前,以此类推则将最大的数"滚动"到最后一个位置;第二趟则将次大的数滚动到倒数第二个位置......第n-1(n为无序数据的个....
分类:
其他好文 时间:
2014-06-13 15:51:42
阅读次数:
207