码迷,mamicode.com
首页 >  
搜索关键字:hdinsight    ( 32个结果
hive query with field is json
if field is json,when query one key from json ,it will help you . refer : https://docs.microsoft.com/zh-cn/azure/hdinsight/hdinsight-using-json-in-hiv ...
分类:Web程序   时间:2017-09-26 17:55:49    阅读次数:234
HDinsight 系列-使用证书登陆中国区Azure
使用azure explorer 插件的时候,登陆默认是globle的azure网站,中国区的azure不能直接使用 可以使用auth文件认证 根据上述脚本获取相关信息 然后按下面格式拼接起来 ...
分类:其他好文   时间:2017-08-15 17:20:43    阅读次数:235
在HDInsight中的Hadoop介绍
在HDInsight中的Hadoop介绍概览Azure的HDInsight是,部署和规定的Apache?Hadoop®集群在云中,提供用于管理,分析和大数据报告软件框架中的服务。大数据数据被描写叙述为“大数据”,以表明它被收集在以往升级卷,以越来越高的速度,并为一个扩大各种非结构化格式和可变语义语境 ...
分类:其他好文   时间:2017-06-02 09:45:18    阅读次数:281
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析 低成本的Blob存储是一个强大的。通用的Hadoop兼容Azure存储解决方式无缝集成HDInsight。通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight能够在Blob存储数据的直接操作。在本教 ...
分类:其他好文   时间:2017-05-12 14:55:37    阅读次数:189
从.net parallel角度解读spark
对于我这样一个一直工作在.net平台上的developer来讲,Hadoop,Spark,HBase等这些大数据名词比较陌生,对于分布式计算,.net上也有类似的Parallel(我说的不是HDInsight), 这篇文章是我尝试从.net上的Parallel类库的角度去讲述什么是spark。 我们 ...
分类:Web程序   时间:2017-03-10 16:45:50    阅读次数:243
利用Azure Automation实现云端自动化运维(1)
Azure Automation是Azure上的一个自动化工作流引擎,基于Powershell,来帮助用户简化,集成和自动化Azure上的运维工作,例如: 实现定时开关虚拟机,节约成本 实现定时创建删除HDInsight cluster执行大数据计算任务 定时备份虚拟机上的数据库 定时归档或者删除无 ...
分类:其他好文   时间:2016-05-16 17:22:22    阅读次数:323
HDInsight 指定输出目录
基本语法 可以格式化输出 也可以导出到远程HDFS 切记: 查询结果放置在本地时..可以使用 来格式化输出的结果.. 如果输出目录是远程的地址 HDFS 路径..则不允许使用格式化方式输出 注意: 导出到本地可以通过ROW FORMAT来设置分隔符,导出到HDFS是不能设置分隔符的; 另外要注意的是 ...
分类:其他好文   时间:2016-04-26 14:09:57    阅读次数:144
python的pip、setuptools安装
今天尝试了一个工具(类似azcopy)导入Linux集群中的数据到Azure(微软云)的HDInsight集群中关于Linux版本的类似于Azcopy的上传工具,还是可以通过参数修改来支持中国区Azure的文件传输的。所以这个方式应该是可行的。你可以从下面的GitHub下载这个工具。https://github.com/mat..
分类:编程语言   时间:2016-04-25 01:05:13    阅读次数:5464
创建第一个azure hadoop insight
1. 创建azure hadoop,记住创建时填的管理员密码2. 创建可能需要10-15分钟。创建好了之后,去dashboard选择创建好的hadoop—>选中cluster3.登录azure hdinsight,输入刚才填的管理员密码,用户名是admin。 进入hive editor页面,使用测试数据进行查询4. 进入Job History,选中一个job,可以查看job output这些job...
分类:其他好文   时间:2016-03-17 14:49:42    阅读次数:199
China Azure 在HDinsight 中使用Spark 功能
国际版的Azure已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:那问题来了,中国版Azure的HDInsight是否支持Spark?答案当然可以,..
分类:其他好文   时间:2016-01-26 01:55:38    阅读次数:491
32条   1 2 3 4 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!