一、hadoop yarn 简介 二、YARN架构 1. ResourceManager 2. NodeMa ...
分类：
其他好文 时间：
2019-06-30 09:24:19
阅读次数：
178
启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式 ...
分类：
其他好文 时间：
2019-06-28 15:09:43
阅读次数：
109
大数据又称巨量资料，就是数据量大、来源广、种类繁多(日志、视频、音频)，大到PB级别，现阶段的框架就是为了解决PB级别的数据。专业的来讲：大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值
分类：
其他好文 时间：
2019-06-25 13:25:02
阅读次数：
118
大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高
分类：
其他好文 时间：
2019-06-22 13:26:06
阅读次数：
106
倒排索引建立 需求分析 需求：有大量的文本（文档、网页），需要建立搜索索引 最终实现的结果就是哪个单词在哪个文章当中出现了多少次 思路分析： 首选将文档的内容全部读取出来，加上文档的名字作为key，文档的value为1，组织成这样的一种形式的数据 map端数据输出 hello-a.txt 1tom- ...
分类：
其他好文 时间：
2019-06-16 13:30:53
阅读次数：
106
一、Java配置 1、完整路径不能有空格：C:\jdk1.8.0_101 2、配置环境变量：JAVA_HOME 二、Hadoop配置 1、完整路径不能有空格：F:\0002_BigData\Soft\hadoop-2.7.6 2、创建文件夹：data、name、tmp 3、下载winutil，拷贝至 ...
#创建数据库CREATE DATABASE bigdata#使用数据库USE bigdata #创建表CREATE TABLE dept(id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,deptno MEDIUMINT UNSIGNED NOT NULL DEF ...
分类：
数据库 时间：
2019-05-27 17:43:48
阅读次数：
152
一、大数据1、什么是大数据？大数据（Bigdata或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。2、大数据特点①Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。②Variety：
分类：
其他好文 时间：
2019-05-24 12:49:11
阅读次数：
277
认识大数据什么是大数据？可能有人会说写字楼的所有人的资料信息就是个大数据。NO！这里的数据只能说比较大，但却不能称之为大数据。百度百科上给出了很明确的解释“大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”在这里还是要推荐下我自己建的大数据学习交流群:52
分类：
其他好文 时间：
2019-05-23 12:16:04
阅读次数：
154
当今，世界无时无刻不在发生着变化。对于技术领域而言，普遍存在的一个巨大变化就是为大数据(Bigdata)打开了大门，并应用大数据技相关技术来改善各行业的业务并促进经济的发展。目前，大数据的作用已经上升到一定程度，对于小型或大型公司而言，从所收集的数据中提取出有用的信息已被是非常宝贵的。此外，大数据帮助那些在使世界变得更美好的且负有重要责任的组织能够更好地完成工作。.在入门学习大数据的过程当中有遇见
分类：
其他好文 时间：
2019-05-22 12:47:17
阅读次数：
139
