码迷,mamicode.com
首页 >  
搜索关键字:mr    ( 1325个结果
通过hive自定义函数直接回写数据到数据库
hive一般用来执行离线统计分析相关的功能,然后将执行的结果导入到数据库的表中供前端报表可视化展现来查询。 导回数据库的方式有许多,sqoop、hive jdbc、mr jdbc等等,但是这几种方式都会有一个二次处理环节(数据需要人工)。 这次介绍另外一种处理方式,直接将对数据库的操作集成在udf中 ...
分类:数据库   时间:2016-12-27 10:00:04    阅读次数:802
VR、AR、MR的区别
VR、AR、MR定义: 什么是虚拟现实? 虚拟现实(Virtual Reality,简称VR,又译作灵境、幻真)是近年来出现的高新技术,也称灵境技术或人工环境。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般,可以及时、没有限制地 ...
分类:其他好文   时间:2016-12-22 22:35:33    阅读次数:201
Hadoop离线项目介绍(不包括程序)
一:项目场景 1.需求分析 根据用户行为数据进行程序的处理,得到结果保存到关系型数据库中 需要收集用户(系统使用者)在不同客户端上产生的用户行为数据,最终保存到hdfs上 需要明确收集字段的相关信息,而且需要考虑到后期的新需求的提出 总:收集不同客户端的用户行为数据,通过mr、hive进行数据分析处 ...
分类:其他好文   时间:2016-12-21 20:51:51    阅读次数:142
sublime Text3插件教程
Mr_Renhappy Sublime Text3 3080安装及各种插件教程 作为一个前端开发人员,搭建自己喜欢的开发环境是必要的!Sublime Text3 作为一个前端开发利器是必备的, 会用是不够的,必须学会如何安装配置;作为一个windows用户很多命令行操作是很不习惯的,但有些地方命令行 ...
分类:其他好文   时间:2016-12-17 22:24:56    阅读次数:190
采用alluxio提升MR job和Spark job性能的注意点
1. 介绍 2. 实验说明 2.1 实验环境 2.2 实验方法 2.3 实验负载 3. MapReduce on alluxio 3.1 读取10G文件(1G split) 3.2 读取20G文件(1G split) 3.3 读取60G文件(1G split) 3.4 读取60G文件(512MB s ...
分类:其他好文   时间:2016-12-16 14:40:55    阅读次数:197
spark on alluxio和MR on alluxio测试(改进版)【转】
转自:http://kaimingwan.com/post/alluxio/spark-on-alluxiohe-mr-on-alluxioce-shi-gai-jin-ban 1. 介绍 2. 准备数据 2.1 清空系统缓存 3. MR测试 3.1 MR without alluxio 3.2 M ...
分类:其他好文   时间:2016-12-16 14:19:46    阅读次数:1131
iOS开发——创建你自己的Framework
http://www.cocoachina.com/ios/20150127/11022.html (原文:How to Create a Framework for iOS 作者:Sam Davies 译者:Mr_cyz ) 在上一篇教程(中译版)中,你学到了怎么样创建一个可复用的圆形旋钮控件。然 ...
分类:移动开发   时间:2016-12-12 14:44:29    阅读次数:222
hadoop streaming编程小demo(python版)
都到了年根底下了,业务线黄了,成了惨兮兮的茶几。不说了。 换到了新的业务线,搞大数据质量评估。自动化质检和监控平台是用django,MR也是通过python实现的。(后来发现有odc压缩问题,python不知道怎么解决,正在改成java版本) 这里展示一个python编写MR的例子吧。 抄一句话:H ...
分类:编程语言   时间:2016-12-10 13:54:47    阅读次数:241
Chapter 2 Open Book——30
I looked down. His hands were clenched into hard fists again. 我向下看,他的双手又一次收紧握成拳头。 Mr. Banner came to our table then, to see why we weren't working. Ba ...
分类:其他好文   时间:2016-12-10 00:18:41    阅读次数:200
Python 2.7_Second_try_爬取阳光电影网_获取电影下载地址并写入文件 20161207
1、昨天文章http://www.cnblogs.com/Mr-Cxy/p/6139705.html 是获取电影网站主菜单 然后获取每个菜单下的电影url 2、今天是对电影url 进行再次解析获取下载地址 并写入文件 调用函数和类多线程还没实现 一步步来吧 3、问题:我想实现的是先对菜单进行创建文件 ...
分类:编程语言   时间:2016-12-07 23:32:37    阅读次数:203
1325条   上一页 1 ... 64 65 66 67 68 ... 133 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!