1. 概述 本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 2. 基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进 ...
分类：
其他好文 时间：
2019-12-24 18:29:30
阅读次数：
75
一、整体结构图 Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样：希望把各种数据放到一个壶 ...
分类：
其他好文 时间：
2019-12-24 13:52:35
阅读次数：
86
1-资源库 资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。 资源库有两种形式： 一、Kettledatabase repository，即保存在各种常见的数据库资 ...
分类：
其他好文 时间：
2019-12-24 13:25:12
阅读次数：
94
问题： Kettle无法打开文件资源库。 问题描述： 新建文件资源库之后，资源库路径中有中文路径。退出kettle之后，再次进去发现没有了右上角的connect按钮了。 原因： kettle的repositories.xml中的文件格式 解决办法： 打开C:/Users/Administrator/ ...
分类：
其他好文 时间：
2019-12-23 17:14:22
阅读次数：
100
在向Hbase中写入数据时，常见的写入方法有使用HBaseAPI，Mapreduce批量导入数据，使用这些方式带入数据时，一条数据写入到HBase数据库中的大致流程如图。数据发出后首先写入到雨鞋日志WAl中，写入到预写日志中之后，随后写入到内存MemStore中，最后在Flush到Hfile中。这样写数据的方式不会导致数据的丢失，并且道正数据的有序性，但是当遇到大量的数据写入时，写入的速度就难以保
分类：
其他好文 时间：
2019-12-23 11:44:43
阅读次数：
247
4.1概述 1. HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化松散数据。 2. HBase与传统数据库的区别 数据类型上的区别，它把数据存储为未经解释的字符串 数据操作，没有像关系型数据库那样的复杂数据操作，通常采用单 ...
分类：
数据库 时间：
2019-12-23 00:30:13
阅读次数：
151
关系型数据库与非关系型数据库关系型数据库：一个机构化的数据库，创建在关系模型基础上，一般面向于记录包括oracle、mysql、sqlserver、db2非关系型数据库：除了主流的关系型数据库意外的数据库，都人为是非关系型的包括redis、mongdb、hbase、couhdb非关系型数据库产生背景对数据库高并发读写需求对海量数据高效存储与访问需求对数据库高可扩展性与高可用需求Redis简介Red
分类：
数据库 时间：
2019-12-22 22:50:27
阅读次数：
125
Hive与HBase的区别与联系 二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 HBase：HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类：
其他好文 时间：
2019-12-22 18:19:49
阅读次数：
84
[TOC] 在前面的文章中，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够。 一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识。 本文来自笔者此前对 HBase 做的学习概括，可方便于对 HBase 的技术全 ...
分类：
其他好文 时间：
2019-12-22 14:59:00
阅读次数：
113
关系型数据库与非关系型数据库关系型数据库：一个机构化的数据库，创建在关系模型基础上，一般面向于记录包括oracle,mysql,sqlserver,db2非关系型数据库：除了主流的关系型数据库意外的数据库，都人为是非关系型的包括redis,mongdb,hbase,couhdb非关系型数据库产生背景对数据库高并发读写需求对海量数据高效存储与访问需求对数据库高可扩展性与高可用需求Redis简介Red
分类：
数据库 时间：
2019-12-20 20:25:01
阅读次数：
89
