package Spark_MLlib import java.util.Properties import org.apache.spark.mllib.regression.LabeledPoint import org.apache.spark.mllib.linalg.{Vector, Ve ...
分类：
其他好文 时间：
2017-12-09 14:03:58
阅读次数：
268
#构造case class，利用反射机制隐式转换 scala> import spark.implicits._ scala> val rdd= sc.textFile("input/textdata.txt") scala> case class Person(id:Int,name:String... ...
分类：
其他好文 时间：
2017-12-07 12:00:09
阅读次数：
378
public class TextFile implements Iterable{ private BufferedReader br; public TextFile(String fileName) throws FileNotFoundException { br = new Buffere... ...
分类：
其他好文 时间：
2017-12-01 23:29:10
阅读次数：
214
1、创建hive分区表： create table invites (id int, name string) partitioned by (ds string) row format delimited fields terminated by 't' stored as textfile; 2 ...
分类：
其他好文 时间：
2017-11-15 17:14:33
阅读次数：
226
结果： + + +| features|label|+ + +|[5.1,3.5,1.4,0.2]|soyo1||[4.9,3.0,1.4,0.2]|soyo1||[4.7,3.2,1.3,0.2]|soyo1||[4.6,3.1,1.5,0.2]|soyo1||[5.0,3.6,1.4,0.2]| ...
分类：
其他好文 时间：
2017-11-05 16:30:11
阅读次数：
188
IDEA就自动把jar包中的字节码反编译为Java源码，并且，我们可以直接下个断点调试程序，但是对于Scala，IDEA的反编译效果并不是很好，如下图所示： 2）提示“Source not found”，我们在看textFile()方法，只可以看到方法的参数列表，方法体的内容却看不到，只能看到“co ...
分类：
其他好文 时间：
2017-11-04 13:41:16
阅读次数：
189
举个例子： 667.txt: part-00000 _SUCCESS 668.txt: part-00000 part-00001 part-00002 part-00003 part-00004 part-00005 part-00006 part-00007 _SUCCESS 如果设置.setM ...
分类：
其他好文 时间：
2017-10-20 20:14:10
阅读次数：
215
[Spark][Python]sortByKey 例子： [training@localhost ~]$ hdfs dfs -cat test02.txt00002 sku01000001 sku93300001 sku02200003 sku88800004 sku41100001 sku9120 ...
分类：
编程语言 时间：
2017-09-29 22:58:30
阅读次数：
281
[training@localhost ~]$ hdfs dfs -cat cats.txt The cat on the matThe aardvark sat on the sofa[training@localhost ~]$ mydata001=sc.textFile('cats.txt') ...
分类：
编程语言 时间：
2017-09-28 22:30:16
阅读次数：
237
题目： 有一个很大的文件，这文件中的内容全部都是数字，要求尝试从这个文件中找出最大的10个数字。 分析： 看起来像是一个比较简单的问题。不用大数据框架的话，也能比较轻易的实现：就是逐个读取文件中的每个数字，放到一个大顶堆结构中；将大顶堆放满以后，每读取一个数字就将之和大顶堆中的最小值进行比较，如果其... ...
分类：
其他好文 时间：
2017-09-27 22:32:52
阅读次数：
116
