一、什么是大数据 进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的数据量的计量单位从MB(1MB大约等于一百万字节)、GB(1024MB)、TB(1024GB),一直向上攀升,目前,PB( ...
分类:
其他好文 时间:
2018-03-10 15:52:22
阅读次数:
164
一 慕课网 1.Hadoop大数据平台架构与实践--基础篇(已学习) 链接:https://www.imooc.com/learn/391 2.Hadoop进阶(已学习) 链接:https://www.imooc.com/learn/890 二 极客学院 1.Hadoop 概述(已学习) 链接:ht ...
分类:
其他好文 时间:
2018-02-20 11:17:21
阅读次数:
169
大数据Hadoop学习之搭建Hadoop平台(2.1) 关于大数据,一看就懂,一懂就懵。 大数据的发展也有些年头了,如今正走在风口浪尖上,作为小白,我也来凑一份热闹。 大数据经过多年的发展,有着不同的实现方案和分支,不过,要说大数据实现方案中的翘楚,那就是Hadoop了,因其开源、稳定等因素,受到了 ...
分类:
其他好文 时间:
2018-01-25 16:46:44
阅读次数:
163
运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具。 上海尚学堂hadoop大数据培训组原创,陆续有hadoop大数据技术相关文章奉上,请多关注! 在使用过程中可能遇到的问 ...
分类:
数据库 时间:
2017-11-10 21:43:48
阅读次数:
218
1.Hadoop 本地模式配置 1.1安装JDK [root@chenjiaxin-1 ~]# tar zxvf jdk-8u102-linux-x64.tar.gz -C /usr/local/ 1.2设置JDK环境变量 [root@chenjiaxin-1 ~]# tail -5 /etc/pr... ...
分类:
其他好文 时间:
2017-10-20 18:31:16
阅读次数:
196
从一个初级程序员到高级程序员的经历 你好!我是谦先生,我是茫茫程序猿中的一猿,平凡又执着。 刚入行的时候说实话,啥都不懂,就懂点皮毛的java,各种被虐狗的感觉。又写js又写css又写后台。。。慢慢被虐出来了~开始掌握一些好多前端框架比如jqury、jquery ui、easyui、datagrid ...
分类:
其他好文 时间:
2017-10-13 19:13:26
阅读次数:
173
zookeeper--------------- 动物园管理员。 开源框架,用于分布式协同。 集中式服务,配置信息、命名服务、分布式同步、分组。 架构简单、API解决了分布式环境下复杂的协同配置。安装zk(本地模式,单机版)-------------- 1.下载 zookeeper-3.4.10.tar.gz 2.tar $>tar-xzvfzo..
分类:
其他好文 时间:
2017-08-15 21:47:47
阅读次数:
277
课时1:培训须知第1 章 : Hadoop生态系统以及版本演化 课时2:课程视频 66:53 课时3:学习资料 课时4:第一讲 课后作业第2 章 : HDFS 2.0应用场景、原理、基本架构及使用方法 课时5:课程视频1-HDFS 2.0应用场景、原理、基本架构及使用方法 59:11 课时6:课程视 ...
分类:
其他好文 时间:
2017-08-13 16:27:32
阅读次数:
151
1.Hadoop是一个大家族,是一个开源的生态系统,是一个分布式运行系统,是基于Java编程语言的架构。不过它最高明的技术还是HDFS和MapReduce,使得它可以分布式处理海量数据。 2.HDFS(分布式文件系统):它与现存的文件系统不同的特性有很多,比如高度容错(即使中途出错,也能继续运行), ...
分类:
其他好文 时间:
2017-08-09 18:08:40
阅读次数:
164
第一章节是从一个餐厅的角度出发,引出来许许多多的相关概念。 第一个概念就是什么是数据挖掘,这个简单,望文生义就好了。它的名字本身就诠释了它的内涵。 基本任务还是得记一下: 1分类与预测。(有点像量化,股票交易) 2聚类分析() 3关联规则() 4时序模式() 5偏差检测() 关于定义挖掘目标,就是什 ...
分类:
其他好文 时间:
2017-08-07 13:37:11
阅读次数:
122