本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目
分类：
其他好文 时间：
2020-06-22 19:15:45
阅读次数：
50
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用 ...
分类：
其他好文 时间：
2020-06-22 18:50:44
阅读次数：
295
序 一转眼，最近的项目从制作到上线已经过去了2个多月，用户也突破了20W。虽然体量不是很大，但对一个小型技术团队来说，在用户高速增长的情况下，保证系统稳定的同时确保开发进度，尤其是还要管理团队，对我来说也是有挑战的一件事，为此开启了2个多月的高压模式（日均12H）。期间也被很多问题搞得心态爆炸，不过 ...
分类：
其他好文 时间：
2020-06-22 17:15:08
阅读次数：
55
作为收款方，会想确认一笔交易有没有被写入区块链。 由于本地节点(钱包)的区块链，只包含了区块链头，没有交易信息，这笔交易在本地是找不到的。 但是，区块链是一个网络，你可以向包含全部区块信息的节点(例如矿工节点)发请求(GetData)，查找指定的交易，找到对应的区块，获取默克尔树。如下图所示 如上图 ...
分类：
其他好文 时间：
2020-06-22 15:46:41
阅读次数：
38
区块链中，当Bob付款给Alice时，创建了一个转账交易，但他不会将其单独发送给Alice。相反，交易消息将在他所连接的整个网络上广播。Bob的网络如图所示。 消息传递到所有连接的节点(机器)，图中的一些节点被标记为矿工。这些机器运行着挖掘比特币的软件。接下来，我们将解释这种挖掘的含义。 挖矿过程 ...
分类：
其他好文 时间：
2020-06-22 15:31:08
阅读次数：
64
非对称加密技术也被称为公钥密码技术(简称PKI)。它使用2个成对的密钥： 公钥 对外公开 私钥 必须严格保密，保管好不能弄丢 密钥本质上是一个数值，使用数学算法产生。可以用公钥加密消息，然后使用私钥解密；反过来也可以使用私钥加密，用公钥解密，这也被称为签名，相当于用私章盖印，对方就可以使用你的公钥来 ...
分类：
其他好文 时间：
2020-06-22 15:30:22
阅读次数：
63
我们总结一下前面章节介绍的交易步骤： 区块链网络中，任何想支付的人，需创建一个交易，里面的内容大致是，买家付给卖家多少钱。 在一定时间内，网络中可能会发生多笔交易。 所有交易，都会通过网络广播，但交易不一定要到达网络中的每个节点。 接收到新交易的矿工，将多个新交易组装成一个块。注意，多个矿工之间新建 ...
分类：
其他好文 时间：
2020-06-22 15:25:32
阅读次数：
45
目的：解决由于区块链过长，导致节点硬盘存不下的问题。 方法：只需保留交易的哈希值。 区块链作为分布式账本，原则上网络中的每个节点都应包含整个区块链中全部区块，随着区块链越来越长，节点的硬盘有可能放不下。区块链中引入了默克尔树解决这个问题。 区块链中，为节省空间，只保存交易的哈希值，不保存交易本身的信 ...
分类：
其他好文 时间：
2020-06-22 14:53:45
阅读次数：
84
目的：解决艰难的任务，获取记账能力。 区块链中，每个人手上都有账本，每个人都可以记账，但怎么能让这些账本的内容保持一致，让大家都认这个账，就需要共识机制。 人类社会中，通常的共识机制是，如果某个人能完成某项艰难的任务，他就可以做某些事。要推翻这个共识，就也要完成这些艰难的任务，所以共识不是那么容易被 ...
分类：
其他好文 时间：
2020-06-22 14:52:37
阅读次数：
60
密码学中，最重要的函数之一是哈希函数。哈希函数将任意大小的数据(内容)映射到固定大小的数据(哈希值)。 哈希函数是单向的，从内容生成哈希值很容易，但从哈希值映射到内容很难。 比特币使用SHA-256哈希函数，该函数生成一个大小为256位(32字节)的哈希值(输出)。如图所示 Bob在向Alice下订 ...
分类：
其他好文 时间：
2020-06-22 14:50:39
阅读次数：
58
