问题 在开发中，有一些全局数据，比如用户数据，系统数据等。这些数据很多组件中都会使用，我们当然可以每次使用的时候都去请求，但是出于程序员的“洁癖”、“抠”等等优点，还是希望一次请求，到处使用。 这时候很自然的想到存储在 localStorage 中，但是有个问题是，这些数据可能会变，如果没能及时同步 ...
分类：
其他好文 时间：
2018-11-03 17:25:34
阅读次数：
261
根据微服务架构的鼻祖 Martin Fowler 的忠告，微服务架构中应当尽量避免分布式事务。然而，在某些领域，分布式事务如同宿命中的对手无法避免。 在工程领域，分布式事务的讨论主要聚焦于强一致性和最终一致性的解决方案。 典型方案包括： 两阶段提交(2PC, Two-phase Commit)方案。 ...
分类：
其他好文 时间：
2018-11-03 14:09:51
阅读次数：
151
在应用的迭代演进过程中，随着系统访问量提高，业务复杂度提高，代码复杂度提高，应用逐渐从单体式架构向面向服务的分布式架构转变。RPC（RemoteProcedureCallProtocol远程过程调用）是分布式架构的核心，按响应方式分如下两种：同步调用：客户端调用服务方方法，等待直到服务方返回结果或者超时，再继续自己的操作异步调用：客户端把消息发送给中间件，不再等待服务端返回，直接继续自己的操作。同
分类：
其他好文 时间：
2018-11-02 21:34:16
阅读次数：
218
RedHat7.X系列linux搭建NTP服务详细方法ntp也就是时间服务器原理和作用：1.大数据产生与处理系统是各种计算设备集群的，计算设备将统一、同步的标准时间用于记录各种事件发生时序，如E-MAIL信息、文件创建和访问时间、数据库处理时间等。2.大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。3.大数据系统是对时
分类：
系统相关 时间：
2018-11-02 14:37:20
阅读次数：
179
一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据（实时性的计算）。 在大数据系统中，常常会碰到一 ...
分类：
其他好文 时间：
2018-10-18 00:47:23
阅读次数：
159
从文本文档导入数据是使用最多的一种数据导入方式，很多设备或软件生成的数据都能以文本文档的方式存在。导入后结果如下文本文档导入数据系统化视频教程
分类：
其他好文 时间：
2018-09-28 20:34:36
阅读次数：
421
接触过很多客户，在没有数据系统以前，很多报表都是用 excel 画的。这些 excel 表，大部分都是业务人员为了方便记录数据直接画的，在这样画出来的表样中，分组合并单元格相当自由不受约束。而当业务人员把这些 excel 交给程序猿哥哥用报表工具制作时候，很自然地也会希望报表能像 excel 一样随 ...
分类：
其他好文 时间：
2018-09-25 14:10:15
阅读次数：
118
Zookeeper作为一个分布式协调系统提供了一项基本服务： 分布式锁服务 ，分布式锁是分布式协调技术实现的核心内容。像配置管理、任务分发、组服务、分布式消息队列、分布式通知/协调等，这些应用实际上都是基于这项基础服务由用户自己摸索出来的。 1.Zookeeper在大数据系统中的常见应用 zooke ...
分类：
其他好文 时间：
2018-09-23 11:51:41
阅读次数：
145
Zookeeper作为一个分布式协调系统提供了一项基本服务： 分布式锁服务 ，分布式锁是分布式协调技术实现的核心内容。像配置管理、任务分发、组服务、分布式消息队列、分布式通知/协调等，这些应用实际上都是基于这项基础服务由用户自己摸索出来的。 1.Zookeeper在大数据系统中的常见应用 zooke ...
分类：
其他好文 时间：
2018-09-22 18:24:48
阅读次数：
202
摘要：DataWorks基于MaxCompute作为核心的计算、存储引擎，提供了海量数据的离线加工分析、数据挖掘的能力。通过DataWorks，可对数据进行数据传输、数据转换等相关操作，从不同的数据存储引入数据，对数据进行转化处理，最后将数据提取到其他数据系统。摘要：DataWorks基于MaxCompute作为核心的计算、存储引擎，提供了海量数据的离线加工分析、数据挖掘的能力。通过DataWor
分类：
其他好文 时间：
2018-09-17 15:24:55
阅读次数：
148
