1.1 Spark交互式分析
运行Spark脚本前,启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API,同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力,分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录,输入下面的命令,python命令行模式将会启动。
./bin/pysp...
分类:
其他好文 时间:
2014-07-22 00:29:38
阅读次数:
239
为何windows dos和Linux shell有这样的差别...
写出以下shell脚本1 判定一个用参数指定的文件是否为可执行,如果不是,则改为可执行#!/bin/bash if [ -x $1 ]then echo "OK"else echo "chmod a+x"chmod a+x $1fi 2 用while和until循环,实现输出某年前9个月月历的效果 ...
分类:
其他好文 时间:
2014-07-21 08:19:28
阅读次数:
279
1、Jongo可以用来做什么?Jongo框架的目的是使在MongoDB中可以直接使用的查询Shell可以直接在Java中使用。在官网首页有一个非常简洁的例子:SHELL:这种查询方式是MongoDB数据库支持的查询方式。JAVA DRIVER:是MongoDB Java驱动API中提供的查询方式JO...
分类:
数据库 时间:
2014-07-20 23:21:10
阅读次数:
537
最近在erlang shell做一些测试,为了让测试结果数据显得更直观,想对齐需要打印的数据,做成像表格一样的效果。开始的想法是在数据中插入tab。当然,erlang也有对tab的支持,但实际效果不理想。文章介绍一种自定义字符个数的方法。...
分类:
其他好文 时间:
2014-07-20 23:19:29
阅读次数:
351
UVA 1386 - Cellular Automaton
题目链接
题意:给定一个n格的环,现在有个距离d,每次变化把环和他周围距离d以内的格子相加,结果mod m,问经过k次变换之后,环上的各个数字
思路:矩阵很好想,每个位置对应周围几个位置为1,其余位置为0,但是这个矩阵有500,有点大,直接n^3去求矩阵不太合适,然后观察发现这个矩阵是个循环矩阵,循环矩阵相乘的话,只需要...
分类:
其他好文 时间:
2014-07-20 23:16:53
阅读次数:
247
找循环节求lcm就够了,若答案是12345应该输出1,被坑了下。
#include
#include
#include
#include
#include
#include
using namespace std;
#define INF 0x3FFFFFF
#define MAXN 2222
#define eps 1e-6
int a[MAXN],p[MAXN],b[MAXN],vis[MA...
分类:
其他好文 时间:
2014-07-20 23:12:48
阅读次数:
309
如果我们需要重复多次计算相同的问题,通常可以选择递归或者循环 递归的好处是代码简洁 但是递归也有明显的缺点:递归是由于函数调用自身,而函数调用是需要有时间和空间的消耗的。每一函数调用,都需要在内存栈中分配空间以保存参数,返回地址和临时变量,而且往栈中压入数据和弹出数据都需要时间。递归中有可能...
分类:
其他好文 时间:
2014-07-20 23:02:25
阅读次数:
326
/*主要思路;
用一个链表存储数组信息,然后依次找出这个链表中最小的数字,然后插入到另外一个链表中,并删除原来链表中最小数字这个节点,一共循环n次,然后另外一个链表中的数字就是排序好的数组,依次输出即可;
*/
#include
using namespace std;
#include
class Node /...
分类:
其他好文 时间:
2014-07-20 22:47:23
阅读次数:
256
hdu2203:http://acm.hdu.edu.cn/showproblem.php?pid=2203题意:给定两个字符串s1和s2,如果能通过s1循环移位,使s2包含在s1中,那么我们就说s2 是s1的亲和串。题解:把s1拼接两遍,然后直接用KMP搞定。例如 s1=abcd,s2==bcda...
分类:
其他好文 时间:
2014-07-20 22:26:00
阅读次数:
290