【摘要】作为公有云的数据底座，大量的应用场景产生的数据都会存储到OBS对象存储服务中，如直播、电商、大数据可视化、机器学习、物联网等。作为公有云的海量存储基础服务， OBS提供了灵活的权限配置功能，解决如共享少部分数据或者数据全部托出等实际应用场景的数据管理诉求。 OBS目前有四种权限管理的方式供大 ...
分类：
其他好文 时间：
2020-05-20 12:22:41
阅读次数：
142
2. 备份类型 2.1 热备 在数据库正常业务时,备份数据,并且能够一致性恢复（只能是innodb） 对业务影响非常小 2.2 温备 锁表备份,只能查询不能修改（myisam） 影响到写入操作 2.3 冷备 关闭数据库业务,数据库没有任何变更的情况下,进行备份数据. 业务停止 3. 备份方式及工具介 ...
分类：
数据库 时间：
2020-05-14 01:05:37
阅读次数：
92
数仓架构 老生常谈 一个数据仓库是一个统一的架构下组织不同数据源的异类集合。有两种构建数据仓库的方法：解释自上而下的方法和自下而上的方法。 1.自上而下的方法： 基本组件讨论如下： 外部源–外部源是从中收集数据的源，与数据类型无关。数据也可以是结构化，半结构化和非结构化的。 阶段区域–由于从外部源提 ...
分类：
其他好文 时间：
2020-04-27 15:17:10
阅读次数：
171
持久层：DAO层（mapper） DAO层：DAO层主要是做数据持久层的工作，负责与数据库进行联络的一些任务都封装在此， DAO层的设计首先是设计DAO的接口， 然后在Spring的配置文件中定义此接口的实现类， 然后就可在模块中调用此接口来进行数据业务的处理，而不用关心此接口的具体实现类是哪个类， ...
分类：
其他好文 时间：
2020-04-23 01:03:31
阅读次数：
250
业务场景：在管理后台，在执行完，增，删，改，操作的时候。我们需要刷新一下页面，重载数据。在JQ中我们会用到location.reload()方法，刷新页面；在vue中，这里需要用到一个 provide / inject 这对用例。（其他方法：this.$router.go(0)，会强制刷新，出现空白 ...
分类：
其他好文 时间：
2020-04-13 00:37:30
阅读次数：
446
一、底层数据的收集/产品端收集 数据采集简称埋点，收集用户的网页端、产品端、客户端等终端的数据，也包括第三方外部数据。 用户行为——原始数据 二、数据业务化/产品需要什么样的数据 将收集的数据转换成可理解、可量化、可观察的业务指标。单纯的数据没有意义，只有和业务结合才能发挥价。 原始数据——加工数据 ...
分类：
其他好文 时间：
2020-04-08 22:51:35
阅读次数：
152
接收数据：自适应缓冲区和连接读是为了解决什么问题 [toc] __Netty 系列目录()__ 到目前为止，我们已经启动服务，并接收了客户端连接，双方已经可以正式通信。下面就要处理请求：接收数据、业务处理、发送数据。 1. 主线分析 1.1 读数据技巧 接收数据我们会碰到以下问题： 1. 缓冲区大小 ...
分类：
其他好文 时间：
2020-04-06 09:28:36
阅读次数：
83
电商 市场 2013：79万笔/分钟 2014：13.4万亿，双11支付宝交易峰值285万笔/分钟 2015：50万亿 技术特点 一个Tomcat：500并发 分布式：上万并发 高并发、集群、负载均衡、高可用（冗余） 海量数据 业务复杂 系统安全：记录日志 架构 Lamp:linux apache ...
分类：
其他好文 时间：
2020-03-29 10:25:47
阅读次数：
73
业务需求：需要实现分组排序并取组内状态优先级最高的数据。 示例：这里有一张这样的数据表，需求是根据error_type分组然后取status最小的第一条数据，如图： 写法一（无法实现）： select t.* from ( select e.* from error_record e where e ...
分类：
数据库 时间：
2020-03-13 11:28:02
阅读次数：
142
用puppeteer爬取网页数据业务需求，页面需要显示很多链接列表，像这样的。我问项目经理要字典表，他笑咪咪地拍着我的肩膀说：“这边有点忙，要不按照这个自己抄一下吧”。emmm…我看了一下，数据大概有七八百条，一个一个录入，那不得搞到地老天荒、海枯石烂。心口一股燥热，差点就要口吐莲花，舌吐芬芳了…转... ...
分类：
Web程序 时间：
2020-03-07 13:01:59
阅读次数：
123
