1. 进入Hadoop环境(在Hadoop安装目录下运行命令、若配置好ssh则可以直接运行启动命令) 2. 启动hive进程（按照网上或林子雨的配置教程来就可以，不再赘述） 进入到shell 3.加载数据到hive数据库（在项目实操中不建议查询语句为select *，而应根据列名查询，若只是查看表结 ...
分类：
其他好文 时间：
2019-09-11 10:11:58
阅读次数：
79
一、解决方案 二、电商数据的爬取和清洗 2.1 Python爬取京东手机销售历史数据 1）.环境 python3 环境、第三方包有 scrapy，re Pycharm 、NotePad++、SublimeText 等代码编辑工具 2）.爬虫步骤 采用 scrapy 爬虫框架编写爬虫脚本，选取核心代码 ...
分类：
移动开发 时间：
2019-09-10 12:56:38
阅读次数：
143
一、同一数据库两表数据关联更新 实现效果：把stu1的数据按id同步到stu2，stu2有相同id则更新数据 步骤： 1.在mysql中创建两张表： mysql>create database kettle; mysql>use kettle; mysql>create table stu1 (id ...
分类：
其他好文 时间：
2019-09-01 21:49:16
阅读次数：
137
为什么要有Hadoop？ 从计算机诞生到现今，积累了海量的数据，这些海量的数据有结构化、半结构化、非 结构的数据，并且这些海量的数据存储和检索就成为了一大问题。 我们都知道大数据技术难题在于一个数据复杂性、数据量、大规模的数据计算。 Hadoop就是为了解决这些问题而出现的。 Hadoop的诞生 D ...
分类：
其他好文 时间：
2019-08-20 01:15:59
阅读次数：
113
大数据经过多年的发展，目前在概念上已经有了更多的含义，从不同的角度来看待大数据也会有不同的定义，但是总的来说，大数据可以用三个方面来进行概括，其一是“新的价值领域”;其二是“数据价值化”;其三是“产业互联网的基础”。大数据之所以受到了广泛的关注，一个重要的原因就是大数据开辟了新的价值领域，这一点是非常关键的。新的价值领域就会打造一系列生态体系，而生态体系又会孕育出大量不同的商业模式，而这个过程也会
分类：
其他好文 时间：
2019-08-09 11:48:34
阅读次数：
139
阅读声明：以下内容是结合网上材料所写个人理解，如有不当，欢迎大家指正~~~谢谢啦 一、Zookeeper介绍 zookeeper，见名知意嘛，zoo动物园，keeper保持者、管理员，结合起来就是动物管理员，为什么这么说呢？不放大家可以看一看目前大数据技术：比如Hadoop的logo是一个黄色的大象 ...
分类：
其他好文 时间：
2019-08-03 15:06:21
阅读次数：
119
大数据的发展历程总体上可以划分为三个重要阶段，萌芽期、成熟期和大规模应用期，20世纪90年至21世纪初，为萌芽期，随着，一批商业智能工具和知识管理技术的开始和应用，度过了数据萌芽，21世纪前十年则为成熟期，主要标志为，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技，谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop平台开始大行期道，2010年以后，为大规模应用期，
分类：
其他好文 时间：
2019-08-01 11:50:38
阅读次数：
132
大数据开发需要学哪些项目？从哪里入手比较好？大数据时代的兴起，带起了批量先进技术的发展，于大数据技术而言，核心就是数据，包括我们的个人信息、浏览记录和购买详单等等，都是庞大的数据库中的一个数据。而大数据程序员在学习过程中，就会跟这些数据打交道，接触到不同的项目，从而不断升级自己的技术库。大数据一般有哪些项目?大数据项目有很多，所用到的技术也是不同的，下面先给大家介绍一个在大数据中的典型项目。1、项
分类：
其他好文 时间：
2019-07-29 12:53:28
阅读次数：
92
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 [1]在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [2] 中大数据指不用随机分析法（抽... ...
分类：
其他好文 时间：
2019-07-26 16:01:51
阅读次数：
109
本文系美图互联网技术沙龙第 11 期嘉宾分享内容 大数据技术和应用系统目前已经在各个行业中发挥着巨大的作用，各种各样的开源技术也给大数据从业人员带来了很大的便利。Bitmap 作为一种大数据需求下产生的计算体系，有着计算速度快、信息密度高、支持海量数据等众多优势。 美图拥有海量用户数据，每天都有大量 ...
分类：
其他好文 时间：
2019-07-26 10:41:10
阅读次数：
107
