传统数据架构建设思路 — “建治用” 传统的数据架构建设模式并不注重与业务部门具体情况的结合，只是单纯地遵循数据“建治用”的思路 — 先构建数据架构，然后对数据进行治理，最后考虑数据的具体应用。比如，企业会从 IaaS（基础设施即服务）层到不同的 PaaS（平台即服务）层，到 DaaS（数据即服务） ...
分类：
其他好文 时间：
2021-06-23 16:30:01
阅读次数：
0
比如说这个消息队列系统，我们来从以下几个角度来考虑一下 （1）首先这个mq得支持可伸缩性吧，就是需要的时候快速扩容，就可以增加吞吐量和容量，那怎么搞？设计个分布式的系统呗，参照一下kafka的设计理念，broker → topic → partition，每个partition放一个机器，就存一部分 ...
分类：
其他好文 时间：
2021-04-13 12:22:01
阅读次数：
0
、数据结构与算法 1.二叉树前序、中序、后续遍历方式（递归以及非递归） 2.二叉树的深度以及广度遍历方式 3.二叉树遍历情况中所有连续节点的最大的值 4.求数组所有可能的子数组 5.给定一个数，求一个有序数组的两个数的和满足这个数（可以拓展一下变成两个无序的数组） 6.求一个数组的第二大值 7.大文 ...
分类：
其他好文 时间：
2021-01-22 12:22:20
阅读次数：
0
最近项目上因为遇到数据量过大导致查询统计性能问题（oracle数据库、单表每月1亿多条车辆定位记录，由一个windows环境下的链路服务程序来接收车辆上传的定位数据写入oracle），急需使用大数据架构来解决。前期同事已经提出整体解决思路（修改链路服务程序，在写oracle的基础上同时写入kafka ...
金蝶云星空 数据架构模型（数据字典） 二开案例.开发环境.从零开发第一个插件 不重启IIS开发插件 ...
分类：
其他好文 时间：
2020-12-16 12:29:37
阅读次数：
4
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统 ...
分类：
其他好文 时间：
2020-11-25 12:06:50
阅读次数：
8
一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。对于version+ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的“常用手
分类：
其他好文 时间：
2020-11-18 13:05:44
阅读次数：
10
帖子中心，是互联网业务中，一类典型的“1对多”业务，即：一个用户能发布多个帖子，一个帖子只有一个发布者。随着数据量的逐步增大，并发量的逐步增大，帖子中心这种“1对多”业务，架构应该如何设计，有哪些因素需要考虑，是本文将要系统性讨论的问题。什么是x对x？所谓的“1对1”，“1对多”，“多对多”，来自数据库设计中的“实体-关系”ER模型，用来描述实体之间的映射关系。什么是“1对1”业务？用户中心，一个
分类：
其他好文 时间：
2020-11-08 17:30:50
阅读次数：
19
本文较长，可提前收藏。用户中心，几乎是所有互联网公司，必备的子系统。随着数据量不断增加，吞吐量不断增大，用户中心的架构，该如何演进呢。什么是用户中心业务？用户中心是一个通用业务，主要提供用户注册、登录、信息查询与修改的服务。用户中心的数据结构是怎么样的？用户中心的核心数据结构为：User(uid,login_name,passwd,sex,age,nickname,…)其中：（1）uid为用户ID
分类：
其他好文 时间：
2020-11-08 17:30:13
阅读次数：
21
年薪200w+的大数据架构师领衔直播，以大数据实时数仓项目为中心，延展4大企业级项目+5大AI应用+6大热门专题，助你开启大数据高薪魔盒。课程优势及特色：1、整体架构：仅关注数仓内部细节-->兼顾数据采集、分布式存储、流计算、建模与实时构建、可视化开发端到端的整体解决方案2、数据采集：人肉管理schema-->统一数据采集解决方案：自动系统化管理schema3、流处理：大量流处理job
分类：
其他好文 时间：
2020-10-19 22:51:25
阅读次数：
22
