scala> val input =sc.textFile("/home/simon/SparkWorkspace/test.txt")input: org.apache.spark.rdd.RDD[String] = /home/simon/SparkWorkspace/test.txt MapP ...
分类：
其他好文 时间：
2018-06-28 13:44:32
阅读次数：
124
spark sql基础操作 SQLContext可能需要自己创建。 var sqlContext=new org.apache.spark.sql SQLContext(sc) sc 是指spark context。 scala> val textFile=sc.textFile("file:/// ...
分类：
其他好文 时间：
2018-06-21 23:42:51
阅读次数：
203
package com.bjsxt.spark.others; import java.util.Arrays;import java.util.List; import org.apache.spark.SparkConf;import org.apache.spark.api.java.Java ...
分类：
其他好文 时间：
2018-06-18 11:00:12
阅读次数：
149
题目描述：编写程序，输出字符串中的大写字母、小写小母和其他的个数。如有一个字符串"Helle, This is A test textfile.123456, tannk you!!"，则其大写字母个数：3，小写字母个数：29，其他字符个数：18. 这里提供了四种算法，第一种是我们比较好理解的，也属 ...
分类：
编程语言 时间：
2018-06-17 20:53:20
阅读次数：
291
在spark中很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换。其实并不是这样的，除非你主动对RDD进行Cache/Persist缓存操作。 举一个简单的例子： sc.textfile("test.txt").map().saveasTextfile(); 使用sc.textfile ...
分类：
其他好文 时间：
2018-06-09 23:20:56
阅读次数：
841
1、当我做transfomer的时候没有问题，可是一做到action操作就会报错。以下是几个小问题：distFile=sc.textFile("hdfs://user/spark/test/201201.csv")distFile.map(lambdas:len(s)).reduce(lambdaa,b:a+b)执行第一条没问题，执行第二条的时候就会报错：Illegalchar
分类：
其他好文 时间：
2018-05-29 10:59:57
阅读次数：
176
1. Hive基础 <! TOC "1. Hive基础" "Hive基本概念" "引入原因：" "Hive是什么" "Hive数据管理" "四种数据模型" "Hive内部表和外部表" "Hive数据类型" "Hive的优化" "Map的优化：" "Reduce 的优化" "一个Reduce:" "分 ...
分类：
其他好文 时间：
2018-05-29 00:14:26
阅读次数：
256
一、SparkCore、SparkSQL和SparkStreaming的类似之处 二、SparkStreaming的运行流程 2.1 图解说明 2.2 文字解说 1、我们在集群中的其中一台机器上提交我们的Application Jar，然后就会产生一个Application，开启一个Driver，然 ...
分类：
其他好文 时间：
2018-05-16 19:49:37
阅读次数：
151
procedure Jslog(szLogText:string);var pMyFile : TextFile;begin Assignfile(pMyFile, 'log.txt'); if FileExists('log.txt') then Append(pMyFile) else ReWr ...
分类：
其他好文 时间：
2018-04-23 14:25:11
阅读次数：
173
vbs没有自定义排序函数。无需自己造轮子，可以用其他语言来完成这个任务（在传递数据比较简单的情况下，例如只传递数组）。 首先用5分钟写一个C++排序的代码。命名为“mysort.cpp”： 编译并测试之后，开始编写vbs代码。 这里借用昨天编写的vbs的vector类： class Vector P ...
分类：
编程语言 时间：
2018-04-18 20:08:47
阅读次数：
211
