今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde ...
分类：
其他好文 时间：
2021-07-09 17:52:26
阅读次数：
0
HDFS 概述 HDFS的产生背景和定义 HDFS产生背景 解决海量数据的存储问题 需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于 ...
分类：
其他好文 时间：
2021-06-30 17:40:30
阅读次数：
0
1.Mongo与Mysql简单对比 关系型数据库-MySQL 1.在不同的引擎上有不同的存储方式。 2.查询语句是使用传统的sql语句，拥有较为成熟的体系，成熟度很高。 3.开源数据库的份额在不断增加，mysql的份额页在持续增长。 4.缺点就是在海量数据处理的时候效率会显著变慢。 非关系型数据库- ...
分类：
数据库 时间：
2021-06-28 17:50:51
阅读次数：
0
简介： 云原生是一种新型技术体系，是云计算未来的发展方向。今天，阿里云李飞飞将和我们分享何为云原生、云原生如何与分布式有机结合，以及云原生技术如何帮助客户迈入数字原生时代。 作者 | 飞刀来源 | 阿里技术公众号 云原生是一种新型技术体系，是云计算未来的发展方向。今天，我来谈谈何为云原生、云原生如何 ...
分类：
数据库 时间：
2021-06-22 18:24:41
阅读次数：
0
如何快速建立自己的知识体系，简单四步： 第一步、海量汲取无论你是碎片化学习，还是系统读书，当你想建立自己的知识体系，一定要有海量汲取的过程。一定要阅读具备专业性、体系化、权威性的内容。第二步、归纳你看了很多内容，但知识还不是你的。这个时候，你需要进行归纳，按照自己的逻辑分门别类的进行归纳总结。推荐使 ...
分类：
其他好文 时间：
2021-06-20 18:00:34
阅读次数：
0
1. MongoDB相关概念 1.1 业务应用场景 传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。 解释：“三高”需求： High performance - 对数据库高并发读写的需求。 Huge Storage - 对海量数据的高效率 ...
分类：
数据库 时间：
2021-06-20 17:35:12
阅读次数：
0
一、文件存储 kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片 并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是<top ...
分类：
其他好文 时间：
2021-06-11 17:32:01
阅读次数：
0
关于可观测性 记录所有事件的所有上下文，对调试或者了解当前系统的状况，于技术、于业务而言，都是非常有益的，但是需要处理和存储海量的数据，这是不现实的。 大概有四种方式来减少数据量，让处理和存储这些数据变得可实现： Profiling（性能剖析） 特点：只采样短期内发生的事件，包含完整上下文 例子：t ...
分类：
其他好文 时间：
2021-06-02 20:35:33
阅读次数：
0
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多 ...
分类：
其他好文 时间：
2021-05-25 18:15:53
阅读次数：
0
公司的项目数据量有限，获取行业线上线下消费数据也困难，没有足够的数据量，如何应用大数据？如何在公司现有情况下接触实际的高并发大数据项目？ 就是想实操一下高并发的架构设计或者参与互联网级别项目的开发，但又不想舍弃现在的工作？ 中小企业如何想办法破局 大数据本身就特别容易形成技术垄断，让长尾的中小企业无 ...
分类：
其他好文 时间：
2021-05-24 09:54:03
阅读次数：
0
