Flume和 Sqoop Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat ...
分类：
Web程序 时间：
2019-12-21 22:39:42
阅读次数：
187
一、GlusterFS简介：GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。开源的分布式文件系统；由存储服务器、客户端以及NFS/Samba存储网关组成；（1）GlusterFS特点：扩展性和高性能；高可用性；全局统一命名空间；弹性卷管理；基于标准协议（2）模块化堆栈架构：1、模
分类：
其他好文 时间：
2019-12-21 15:16:24
阅读次数：
297
什么是变量，变量是什么1.1.什么是变量在日常生活中，人们会用到大量数据，像去ATM机取款，首先，需要插入银行卡，这个过程其实就是ATM机的系统在获取银行卡号这个数据，而后，输入密码，这个过程也是在获取数据，也就是密码。在后续进行的业务处理中，像存钱、取钱、转帐汇款等等，银行卡号和密码会被反复的、频繁的使用，那就需要一个存储这些数据的地方。在软件系统中，是将数据存储在内存之中的，而对内存中的数据的
分类：
编程语言 时间：
2019-12-21 00:30:03
阅读次数：
89
1.创建一个临时表： 2.给临时表增加一个索引 这个好处是遇到大量数据进入临时表的时候，使用起来查询较快，如果是较少的数据的话 就没有必要了 ...
分类：
数据库 时间：
2019-12-19 16:04:02
阅读次数：
250
数据分析与挖掘 学习&实战记录 从大量数据(包括文本)中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，就是 数据挖掘 。 数据挖掘基础 数据挖掘基本任务 数据挖掘的基本任务包括利用分类预测、聚类分析、关联规则 ...
分类：
其他好文 时间：
2019-12-18 09:24:38
阅读次数：
110
主要内容包含：左连接，右连接，内连接，全连接的区别、MySQL中in和exists区别、数据库查询缓慢的常见原因以及优化方法 ...
分类：
编程语言 时间：
2019-12-17 18:06:24
阅读次数：
97
当想在数据库中插入大量数据时，使用insert 不仅效率低，而且会导致一系列的数据库性能问题 当使用insert语句进行插入数据时。我使用了两种方式： 以上方式对于批量插入数据都不是一个好的选择， 针对这种情况我使用了SqlBulkCopy sqlbulkCopy：将其它数据源批量加载sqlserv ...
分类：
数据库 时间：
2019-12-14 14:04:25
阅读次数：
92
重点 索引和切片 级联 聚合操作 统计操作 矩阵 什么是数据分析 是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 数据分析是用适当的方法对收集来的大量数据进行分析，帮助人们做出判断，以便采取适当的行动 商品采购量的多少 总部向各个地区代理的发货量 为什么学习数据分析 ...
分类：
其他好文 时间：
2019-12-11 21:38:08
阅读次数：
124
原文:【SQL Server性能优化】删除大量数据的方法比较 如果你要删除表中的大量数... ...
分类：
数据库 时间：
2019-12-11 00:06:11
阅读次数：
160
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
分类：
其他好文 时间：
2019-12-09 18:50:02
阅读次数：
101
