主要包括以下几大块: 大数据基础课程 离线数据分析 离线数据分析hbase 实时数据分析 Scala函数式编程 Spark内存计算 机器学习增强 前五天的课程都是基础课,主要包含Linux基础,shell编程基础以及Java中的多线程、JVM等基础知识,如果你没有相关的基础知识,请自己提前学习。 离 ...
分类:
其他好文 时间:
2018-01-11 20:40:40
阅读次数:
159
老男孩教育大数据开发课程适合所有对大数据开发有兴趣的人员,从JavaSE 到大数据生态圈高端课程的开发。课程内容量很大,有一定的难度和深度,认真学习,,技术会有很大程度的提升。第一阶段:JavaSE+MySql+Linux学习内容:Java 语言入门 → OOP 编程 → Java 常用Api、集合 → IO/NIO → Java 实用技术 → Mysql 数据库 → 阶段项目实战 → Linux
分类:
其他好文 时间:
2018-01-10 17:34:45
阅读次数:
152
好久没更新three.js 了,前三章了解了部分基础知识。这一章我们来搞点事情,做点有意思的东西。 效果如下图: 因为截图是静止的,实际效果是地球在自转。 废话不多说,上代码: 这里我把地球图片上传上来,不然没有图片也无法加载。 最后提醒大家一点,当有图片加载到three.js 时,需要在服务器端运 ...
分类:
Web程序 时间:
2018-01-08 13:33:16
阅读次数:
188
项目中有一个这样的需求,上传文件的时候需要多张文件一起上传,而且每张文件都有自己的文件信息,因为文件信息需要匹配验证,在处理过程中需要传输流的时候前半段固定长度为文件信息,后半段是文件流,而且还是多张批量的情况,经过不断摸索最终想出一个方案:那就是采用合并流,示意图如下: 批次信息[256]+文件信 ...
分类:
其他好文 时间:
2018-01-06 14:29:53
阅读次数:
149
配置了HBase的SNAPPY压缩以后,出现regionserver启动不了的问题。分析应该是属性配置错了! 官网上的是:<name>hbase.regionserver.codecs</name>, 实际上应该是<name>io.compression.codecs</name> 修改配置以后就可 ...
分类:
移动开发 时间:
2017-12-27 23:56:01
阅读次数:
250
目的: 增加约束 创建索引 使用CREATE TABLE语句创建索引 创建函数索引 删除列和将列置为UNUSED 平台FLASHBACK闪回操作 创建临时表 创建和使用外部表 ALTER TABLE语句 -增加列 -修改已存在的列 -定义列的默认值 -删除列 语法 ALTER TABLE table ...
分类:
其他好文 时间:
2017-12-21 17:12:13
阅读次数:
160
一些概念 一个partition 对应一个task,一个task 必定存在于一个Executor,一个Executor 对应一个JVM. Partition 是一个可迭代数据集合 Task 本质是作用于Partition的线程 问题 Task 里如何使用Kafka Producer 将数据发送到Ka ...
分类:
数据库 时间:
2017-12-17 14:59:43
阅读次数:
236
原文地址 ZooKeeper是Hadoop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调(Coordination)服务,与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper,第一部分介绍ZooKeeper的基本原理,第二部 ...
分类:
其他好文 时间:
2017-12-13 11:54:38
阅读次数:
162
mac默认安装postgresql, 如何让postgresql可以远程访问 mac默认的postgresql目录的存放路径是/usr/local/var/postgres/ 在该目录下,修改两个文件,一个是postgresql.conf, 一个是pg_hba.conf,最后是重启 修改postre ...
分类:
数据库 时间:
2017-12-08 12:15:50
阅读次数:
272
package api; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.ap... ...
分类:
编程语言 时间:
2017-11-25 18:23:47
阅读次数:
188