if field is json,when query one key from json ,it will help you . refer : https://docs.microsoft.com/zh-cn/azure/hdinsight/hdinsight-using-json-in-hiv ...
分类:
Web程序 时间:
2017-09-26 17:55:49
阅读次数:
234
使用azure explorer 插件的时候,登陆默认是globle的azure网站,中国区的azure不能直接使用 可以使用auth文件认证 根据上述脚本获取相关信息 然后按下面格式拼接起来 ...
分类:
其他好文 时间:
2017-08-15 17:20:43
阅读次数:
235
在HDInsight中的Hadoop介绍概览Azure的HDInsight是,部署和规定的Apache?Hadoop®集群在云中,提供用于管理,分析和大数据报告软件框架中的服务。大数据数据被描写叙述为“大数据”,以表明它被收集在以往升级卷,以越来越高的速度,并为一个扩大各种非结构化格式和可变语义语境 ...
分类:
其他好文 时间:
2017-06-02 09:45:18
阅读次数:
281
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析 低成本的Blob存储是一个强大的。通用的Hadoop兼容Azure存储解决方式无缝集成HDInsight。通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight能够在Blob存储数据的直接操作。在本教 ...
分类:
其他好文 时间:
2017-05-12 14:55:37
阅读次数:
189
对于我这样一个一直工作在.net平台上的developer来讲,Hadoop,Spark,HBase等这些大数据名词比较陌生,对于分布式计算,.net上也有类似的Parallel(我说的不是HDInsight), 这篇文章是我尝试从.net上的Parallel类库的角度去讲述什么是spark。 我们 ...
分类:
Web程序 时间:
2017-03-10 16:45:50
阅读次数:
243
Azure Automation是Azure上的一个自动化工作流引擎,基于Powershell,来帮助用户简化,集成和自动化Azure上的运维工作,例如: 实现定时开关虚拟机,节约成本 实现定时创建删除HDInsight cluster执行大数据计算任务 定时备份虚拟机上的数据库 定时归档或者删除无 ...
分类:
其他好文 时间:
2016-05-16 17:22:22
阅读次数:
323
基本语法 可以格式化输出 也可以导出到远程HDFS 切记: 查询结果放置在本地时..可以使用 来格式化输出的结果.. 如果输出目录是远程的地址 HDFS 路径..则不允许使用格式化方式输出 注意: 导出到本地可以通过ROW FORMAT来设置分隔符,导出到HDFS是不能设置分隔符的; 另外要注意的是 ...
分类:
其他好文 时间:
2016-04-26 14:09:57
阅读次数:
144
今天尝试了一个工具(类似azcopy)导入Linux集群中的数据到Azure(微软云)的HDInsight集群中关于Linux版本的类似于Azcopy的上传工具,还是可以通过参数修改来支持中国区Azure的文件传输的。所以这个方式应该是可行的。你可以从下面的GitHub下载这个工具。https://github.com/mat..
分类:
编程语言 时间:
2016-04-25 01:05:13
阅读次数:
5464
1. 创建azure hadoop,记住创建时填的管理员密码2. 创建可能需要10-15分钟。创建好了之后,去dashboard选择创建好的hadoop—>选中cluster3.登录azure hdinsight,输入刚才填的管理员密码,用户名是admin。 进入hive editor页面,使用测试数据进行查询4. 进入Job History,选中一个job,可以查看job output这些job...
分类:
其他好文 时间:
2016-03-17 14:49:42
阅读次数:
199
国际版的Azure已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:那问题来了,中国版Azure的HDInsight是否支持Spark?答案当然可以,..
分类:
其他好文 时间:
2016-01-26 01:55:38
阅读次数:
491