先扯一下大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化、非结构化文本、日志、视频、图片、地理位置等; 商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来; 处理时效性高,海量数据的处理需求不再局限在离线计算当中。 现如今,正式为了应对大数据的这几个特 ...
分类:
其他好文 时间:
2019-01-22 10:57:06
阅读次数:
256
inner join 只打印能匹配上的数据,没有匹配上的不输出 left join 只打印能匹配上的数据,没有匹配上的不输出 right join full outer join left outer join left semi join 相当于 select * from a where a.i ...
分类:
其他好文 时间:
2019-01-17 23:53:59
阅读次数:
206
1新建一个数据库 2创建一个外部表 3添加数据 vi student.txt 4 查询 5 group by分组 6 cluster by 分区,排序 7 ...
分类:
数据库 时间:
2019-01-17 19:40:40
阅读次数:
225
1 建表 2 创建一个student.txt 添加数据 3 上传 hdfs dfs -put student.txt /user/hive/warehouse/student 4 select * from student; 5 通常不会通过put方式加载数据,而是通过load的方式添加数据 loa ...
分类:
其他好文 时间:
2019-01-15 22:03:19
阅读次数:
225
1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环境变量 vi /etc/profile expert HIVE_HOME=/root/apps/hi ...
分类:
其他好文 时间:
2019-01-15 18:30:33
阅读次数:
188
我们在前面的文章中给大家介绍了很多的大数据学习思维原理,这些内容对于大数据的学习都是很有帮助的,其实大数据的学习思维还是有很多的,我们在这篇文章给大家介绍一下电子商务智能原理。 ...
分类:
其他好文 时间:
2019-01-15 17:12:20
阅读次数:
137
我们在上一篇文章中给大家介绍了很多大数据学习的思维原理,对于这些思维原理都是需要大家掌握的,在这篇文章中我们给大家讲解一下机器懂人原理,希望这篇文章能够给大家带来帮助。 ...
分类:
其他好文 时间:
2019-01-15 17:02:47
阅读次数:
187
大数据将彻底颠覆传统的生产方式生活方式,大数据的蓬勃发展,使许多人想从事大数据相关的工作。大数据就0基础入门的初学者们最关心的问题进行整理回答。 一、大数据的发展前景 1、人才稀缺:未来3至5年,中国需要200万+大数据人才,目前大数据从业人数不足50万,市场需求远远得不到满足; 2、需求增长快速: ...
分类:
其他好文 时间:
2019-01-10 16:31:23
阅读次数:
157
有两个海量日志文件存储在hdfs上, 其中登陆日志格式:user,ip,time,oper(枚举值:1为上线,2为下线); 访问之日格式为:ip,time,url,假设登陆日志中上下线信息完整,切同一上下线时间段内是用的ip唯一, 计算访问日志中独立user数量最多的前10个url,用MapRedu... ...
分类:
其他好文 时间:
2019-01-09 23:33:20
阅读次数:
343
大数据的学习其实是比较困难的,这是因为大数据的学习中有很多的内容,如果想要学通那基本上是不可能的,但是对于大数据知识的某一个方面还是可以的,那么怎么学习大数据呢?下面看看过来人是怎么谈论大数据学习的。 ...
分类:
其他好文 时间:
2019-01-08 17:51:02
阅读次数:
154