年薪200w+的大数据架构师领衔直播，以大数据实时数仓项目为中心，延展4大企业级项目+5大AI应用+6大热门专题，助你开启大数据高薪魔盒。课程优势及特色：1、整体架构：仅关注数仓内部细节-->兼顾数据采集、分布式存储、流计算、建模与实时构建、可视化开发端到端的整体解决方案2、数据采集：人肉管理schema-->统一数据采集解决方案：自动系统化管理schema3、流处理：大量流处理job
分类：
其他好文 时间：
2020-10-19 22:51:11
阅读次数：
21
开源日志收集Exceptionless简单使用 weixin_30463341 2018-06-07 18:30:00 124 收藏 文章标签： python 大数据 java 版权 这两天在研究一个开源的日志收集工具Exceptionless 官网地址：https://exceptionless. ...
有些单位取个大数据的系统名称，但可能并没使用到大数据的技术或者并没有很大量的数据，这时不需要使用大数据扩展标准！！ 重在逐步测试，步步递进，由浅到深！！ 针对具体的操作系统、设备型号等开发具体详细的测评指导书，并在实际环境或仿真环境进行验证过，包括具体的命令是否能用，预期的结果是什么等等，要保证新人 ...
分类：
其他好文 时间：
2020-10-19 22:34:39
阅读次数：
27
NB-IoT是指窄带物联网(Narrow Band -Internet of Things)技术，是IoT领域一个新兴的技术，支持低功耗设备在广域网的蜂窝数据连接，也被叫作低功耗广域网(LPWA)。事实上，物联网的设备可以分为三种。 1、无需移动性，大数据量(上行)，需较宽频段; 2、移动性强，需执 ...
分类：
其他好文 时间：
2020-10-18 16:23:33
阅读次数：
20
先搬个砖： 一：Hive是什么 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。 二：mapreduce的基本流程及阶段可进行的优化操作 （其实有很多不用设置有默认的设置或设置后反而执行时间长，此处做了解，参考设置在下一节） 附上网上的一张老图（虽然老但是很具有代表性， ...
分类：
其他好文 时间：
2020-10-16 11:19:02
阅读次数：
24
LSM(Log-Structured MergeTree) 树 LSM树核心思想是放弃部分读能力，换取写入的最大化能力。LSM 树的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，而可以先将最新的数据驻留在内存中，等到积累到足够多之后，再使用归并排序的方式 ...
分类：
其他好文 时间：
2020-10-16 11:14:04
阅读次数：
23
递归（面试高频题） 就是一个方法，自身调用自身，但递归不适用于较大数据计算，会导致计算器内存不足从而崩溃 递归包含两个部分： 递归头：什么时候不调用自身方法。如果没有递归头，就会陷入死循环。 递归体：什么时候需要调用自身方法。 递归的算法公式 package weiwei.method;public ...
分类：
其他好文 时间：
2020-10-13 17:48:50
阅读次数：
43
在上一章中SpringBoot整合RabbitMQ，已经详细介绍了消息队列的作用，这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的，高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势，被广泛用来记录日志 ...
分类：
编程语言 时间：
2020-10-13 17:35:42
阅读次数：
33
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程，其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类：
其他好文 时间：
2020-10-13 17:19:39
阅读次数：
26
1.集群的数据迁移 在工作中经常会遇到redis集群的扩容的场景，因为当一个集群服务器中的内存不够用无法支撑更大数据量的缓存或者并发量不够（个人理解），就会将原有的集群扩展。集群扩容需要将集群中原有的master节点上的槽位以及数据迁移到新加入的master节点上。 每个槽都把要里面的数据迁移完才能 ...
分类：
其他好文 时间：
2020-10-09 21:40:42
阅读次数：
46
