1. 摘要 对于大数据而言，数据仓库承载着整个企业的全业务的数据。早期数仓在关系型数据如Oracle，MySql上。到大数据时代，基于hadoop生态的大数据架构，数仓基本上都是基于hive的数仓。对于很多大数据开发者而言，特别是早期，很多开发者认为hive数仓就是和业务相关，隐射Hdfs数据文件的 ...
分类：
其他好文 时间：
2019-12-24 19:02:30
阅读次数：
109
刚开始学习大数据的时候并没有注意shell脚本的重要性，但是随着工作的深入，以及大部分朋友的反馈，发现shell脚本是每个大数据开发人员都必须整我的技能！！！今天我们一起探索一下shell脚本吧！ 1、shell脚本是什么？ Linux操作系统的核心是kernal（内核）！ 当应用程序在执行时，需要 ...
分类：
系统相关 时间：
2019-12-21 15:30:30
阅读次数：
141
做大数据开发好还是大数据分析比较好一些？哪个薪资高？ 零基础学习大数据开发，还是大数据分析？哪方面比较好？ 今天我们来从技术角度和薪资角度全面进行分析，方便你的选择。 技术区别 在做选择之前，需要了解两者的不同，然后再结合自身已有的基础和兴趣做决定。 1、大数据开发类的岗位对于code能力、工程能力 ...
分类：
其他好文 时间：
2019-11-27 23:09:13
阅读次数：
104
本文从实践出发，介绍如何在windows环境下搭建scala环境，让你可以使用Spark语言继续自己的大数据之旅，增添一点乐趣。同时指出大部分朋友在初次运行spark-shell会遇到的报错：ERROR Shell： Failed to locate the winutils binary in t... ...
本文从实践出发，介绍如何在windows环境下搭建java环境，并介绍一个最小可运行java程序，在控制台打印出Hello Java，以此开启自己的大数据之旅第一步。 ...
分类：
编程语言 时间：
2019-11-25 09:20:00
阅读次数：
92
本文从实践出发，介绍如何在windows环境下搭建hadoop环境，并介绍一个绝大多数人都会遇到的报错：Error: JAVA_HOME is incorrectly set. Please update C:\hadoop-2.7.7\conf\hadoop-env.cmd 让你在本地单机模式下也... ...
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 ...
分类：
其他好文 时间：
2019-11-03 12:27:52
阅读次数：
101
https://blog.csdn.net/hehe_soft_engineer/article/details/102820968 ...
分类：
其他好文 时间：
2019-11-01 22:42:36
阅读次数：
83
作者简介 万汨，饿了么资深开发工程师。iOS，Go，Java均有涉猎。目前主攻大数据开发。喜欢骑行、爬山。 前言：针对“附近的人”这一位置服务领域的应用场景，常见的可使用PG、MySQL和MongoDB等多种DB的空间索引进行实现。而Redis另辟蹊径，结合其有序队列zset以及geohash编码， ...
分类：
其他好文 时间：
2019-10-25 16:44:32
阅读次数：
99
本课程是由猎豹移动大数据架构师，根据Java在公司大数据开发中的实际应用，精心设计和打磨的大数据必备Java课程。通过本课程的学习大数据新手能够少走弯路，以较短的时间系统掌握大数据开发必备语言Java，为后续大数据课程的学习奠定了坚实的语言基础。 ...
分类：
编程语言 时间：
2019-10-13 11:12:24
阅读次数：
67
