在终端提取指定文本文件的指定行的内容 备注 ...
分类：
其他好文 时间：
2018-04-09 17:17:10
阅读次数：
94
一、RDD 的创建 1）通过 RDD 的集合数据结构，创建 RDD sc.parallelize(List(1,2,3),2) 其中第二个参数代表的是整个数据，分为 2 个 partition，默认情况会讲数据集进行平分，注意不是两个副本 2）通过文件来读取 sc.textFile("file.tx ...
PART 5 数据读取与保存 1.文件格式与文件系统： Spark支持的一些常见文件格式： 1.1文本文件： 读取：文本文件的读取通过textFile()，如果需要读取整个文件夹，可以使用wholeTextFiles()，该方法会返回一个pair RDD，键为文件名 保存：saveAsTextFil ...
分类：
其他好文 时间：
2018-02-05 21:58:51
阅读次数：
231
Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别 Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig ...
分类：
其他好文 时间：
2018-01-23 00:57:20
阅读次数：
659
var hv=sc.textFile("hdfs://192.168.15.30:8020/user/hive/warehouse/ycapp.db/appindex") var hivedata=hv.map(_.split("\t")).map(e => ( e(1), e(2),e(0).to... ...
分类：
其他好文 时间：
2018-01-09 18:39:06
阅读次数：
147
-- Spark SQL 以编程方式指定模式 val sqlContext = new org.apache.spark.sql.SQLContext(sc) val employee = sc.textFile("/root/wangbin/employee.txt") 1201,satish,2... ...
分类：
数据库 时间：
2018-01-09 18:37:12
阅读次数：
186
除了string，boolean,date等基本数据类型之外,hive还支持三种高级数据类型： 1.ARRAY ARRAY类型是由一系列相同数据类型的元素组成，这些元素可以通过下标来访问。比如有一个ARRAY类型的变量fruits，它是由['apple','orange','mango']组成，那么 ...
分类：
其他好文 时间：
2018-01-09 17:34:58
阅读次数：
193
一次性执行一个语句并输出到文件： osql Usa dSCGWYDJ2012 P S192.168.56.1 Q "exit( SELECT top 1 FROM A08)" o "C:\\Users\\Administrator\\Desktop\\textfile.txt" 列所有表： SELE ...
分类：
数据库 时间：
2017-12-24 14:46:06
阅读次数：
143
我们知道Hive0.14版本之前是不支持行级别的插入，更新，删除的，0.14版本之后可以通过修改相关配置得以支持，但是在不修改默认配置的情况下是不是完全没有办法呢？不是的，这里有个比较简单的方法，前提是表的存储格式为textfile~ 以下是例子： 当前表emp 存储格式为textfile 到hdf ...
分类：
其他好文 时间：
2017-12-24 14:39:38
阅读次数：
397
1.文件权限处理( ll 命令可查看当前文件的具有的权限) drwxr-xr-x. 2 root root 12288 Dec 21 11:49 bin 所属组 所属用户 文件大小 文件最后更改时间 drwxr-xr-x:(d表示文件夹,后面三个一组表示权限)： d:表示 bin为 文件夹 rwx: ...
分类：
系统相关 时间：
2017-12-21 20:48:39
阅读次数：
212
