文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类：
数据库 时间：
2021-01-19 12:02:43
阅读次数：
0
公司的项目用到了Memcached缓存，就来分析下Memcached和Redis的区别和联系把！ Redis 和 Memcached 都是基于内存的数据存储系统。Memcached是高性能分布式内存缓存服务，其本质上就是一个内存key-value数据库。Redis是一个开源的key-value存储系 ...
分类：
系统相关 时间：
2021-01-12 11:14:11
阅读次数：
0
作者：huashiou https://segmentfault.com/a/1190000018626163 本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知。 文章最后汇总了 ...
分类：
其他好文 时间：
2021-01-11 11:29:29
阅读次数：
0
Protocol Buffers 是一种与语言、平台无关，可扩展的序列化结构化数据的方法，常用于通信协议，数据存储等等。相较于 JSON、XML，它更小、更快、更简单，因此也更受开发人员的青眯。 基本语法 syntax = “proto3”; package model; service MySer ...
分类：
其他好文 时间：
2021-01-04 10:41:17
阅读次数：
0
概念 几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。 0维张量/标量 标量是一个数字 1维张量/向量 1维张量称为“向量”。 2维张量 2维张量称为矩阵 3维张量 公用数据存储在张量 时间序列数据 股价 文本数据 彩 ...
分类：
其他好文 时间：
2021-01-01 11:55:29
阅读次数：
0
kudu计算公式：假设:tabletserver32台master5台最大数据存储量为，复制和压缩后，每个tabletserver9.6TB。每个tabletserver管理的tablet为3000，包含tablet的副本。基于以上限制，可以推测出一下内容：分区=每行大小*总条数<=3.2Gtablet（限制每一台tablet-server1500个分区）,目前现在总kudu表为1546张表
分类：
其他好文 时间：
2020-12-30 10:41:55
阅读次数：
0
flume的概述 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的source收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据source是可定制的，因此Flume可用于传输大量event 数据，包括但不限于网 ...
分类：
Web程序 时间：
2020-12-29 11:10:09
阅读次数：
0
1 概述 1.1 项目理解 数据冗余 数据冗余是指数据之间的重复，也可以说是同一数据存储在不同数据文件中的现象。可以说增加数据的独立性和减少数据冗余是企业范围信息资源管理和大规模信息系统获得成功的前提条件。 数据冗余或者信息冗余是生产、生活所必然存在的行为，没有好与不好的总体倾向。 如何解决重复ip ...
分类：
其他好文 时间：
2020-12-28 11:05:11
阅读次数：
0
大数据治理的效果体现在数据存储成本是否降低、数据产出周期是否缩短、数据质量是否提高、数据量增长势头是否减缓等方面
分类：
其他好文 时间：
2020-12-22 12:40:03
阅读次数：
0
一、ELK基础1、ELK简介ELK本质上是三个软件的组合，通过这三个软件的组合可以实现构建一个日志的收集、分析、展示的平台，也就是说借助于ELK可以实现把收集到的日志信息以饼图、柱形图、曲线图等直观的方式展示出来。ELK的三个组件如下：kibana：这个组件用来展示数据，用户访问的时候是访问kibanaelaticsearch简称es：用来存储数据的，kibana中所展示的数据都是来自于eslog
分类：
其他好文 时间：
2020-12-15 12:56:41
阅读次数：
7
