前言 事务(Transaction)是数据库学习中非常重要的一种概念,作为关系型数据库的核心组成,在数据安全方面有着非常重要的作用。 事务在各大数据库中都有非常广泛的应用,并且对于很多业务,例如电商、支付,是保证其可以正常运行的根基。 本文会逐步解析数据库事务的核心特性,以获得对事务更深的理解,主要 ...
分类:
数据库 时间:
2021-05-24 10:21:59
阅读次数:
0
cube.js 的预聚合是一个很不错的功能,但是目前是有一些问题的,比如我们包含了大量的数据(几十完,上百万) 目前官方相关的解决方法 数据拆分 基于文件模式的文件处理(比如cubestore支持csv格式的) 基于stream模式的数据处理(目前官方也比较推荐的模式) 一些说明 目前方案都不太好, ...
分类:
Web程序 时间:
2021-05-24 09:57:40
阅读次数:
0
公司的项目数据量有限,获取行业线上线下消费数据也困难,没有足够的数据量,如何应用大数据?如何在公司现有情况下接触实际的高并发大数据项目? 就是想实操一下高并发的架构设计或者参与互联网级别项目的开发,但又不想舍弃现在的工作? 中小企业如何想办法破局 大数据本身就特别容易形成技术垄断,让长尾的中小企业无 ...
分类:
其他好文 时间:
2021-05-24 09:54:03
阅读次数:
0
1:业务背景介绍 本次为22届的实习生校招,请不符合要求的同学不要投简历过来。 本岗位为技术开发和大数据研发岗位,想做产品和运营的同学请移步其他地方投简历谢谢 业务相关的背景请参照: https://job.alibaba.com/zhaopin/position_detail.htm?spm=a2 ...
分类:
其他好文 时间:
2021-05-24 05:53:07
阅读次数:
0
Spark SQL 及其 DataFrame 的基本操作 Q & A 1. Spark SQL 出现的原因是什么? 关系数据库已经流行多年,能较好的满足各类商业公司的业务数据管理需求,但关系数据库在大数据时代已经不能满足各种新增的用户需求。用户需要从不同数据源执行各种操作(包括结构化和非结构化数据) ...
分类:
数据库 时间:
2021-05-24 04:48:45
阅读次数:
0
前言 Elastic自身设计了集群分片的负载平衡机制,当有新数据节点加入集群或者离开集群,集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建,由于种种原因,现在需要迁移到自建机房,Elasticsearch集群承担了大数据平台主要的对外查询需求,也有部分实时计算需求基于Ela ...
分类:
其他好文 时间:
2021-05-24 03:46:38
阅读次数:
0
1. Glue与Hudi简介 AWS Glue AWS Glue是Amazon Web Services(AWS)云平台推出的一款无服务器(Serverless)的大数据分析服务。对于不了解该产品的读者来说,可以用一句话概括其实质:Glue是一个无服务器的全托管的Spark运行环境,只需提供Spar ...
分类:
Web程序 时间:
2021-05-24 03:46:26
阅读次数:
0
马太效应出自圣经《新约·马太福音》里有一则寓言:“凡有的,还要加倍给他叫他多余;没有的,连他所有的也要夺过来”。“ 道德经有:“天之道,损有余而补不足;人之道则不然,损不足以奉有余”,意思是:自然的法则,是损减有余来补充不足。人类社会世俗的作法却不然,而是损减贫穷不足来供奉富贵有余。这两句古语比较直 ...
分类:
其他好文 时间:
2021-05-24 03:22:41
阅读次数:
0
? 今天,大家就请跟着数栈君一起,和申杭聊聊他从青铜到星耀的大数据之路。 数栈君:申杭,你是07年从华中科技大学软件工程专业毕业的,能说说你当时为什么选择这个专业吗? 申杭:当时会计、师范、机械制造、土木类专业比较热门,一般家人都会让报这些专业,出来好就业。而电子、计算机、软件工程类的专业刚刚兴起, ...
分类:
其他好文 时间:
2021-05-24 00:46:57
阅读次数:
0
解决RuntimeError: you must first build vocabulary before training the model错误 查找解决方案,意思就是说你的数据集中的数量过少,解决方案有两种,扩大数据集的数量、另一个就是更改min_count的值例如:如果太少的话可以更改为 ...
分类:
其他好文 时间:
2021-05-23 23:49:16
阅读次数:
0