cd sparkapp/ ls find . /usr/local/sbt/sbt packagepackage完成：hadoop@Athena:~/sparkapp$ lsproject simple.sbt src target打包位置：我们就可以将生成的 jar 包通过 spark-submi... ...
分类：
其他好文 时间：
2016-06-25 08:28:15
阅读次数：
167
Redis支持持久化只是它的一件武器，另外，它针对不同的需求也提供了多达5种数据存储方式，以最大效率上的实现你的需求，下面分别说一下： 一 string（字符串） string是最简单的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value，其上支持的操作与Memcach ...
分类：
其他好文 时间：
2016-06-25 08:28:11
阅读次数：
239
伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/... ...
分类：
其他好文 时间：
2016-06-25 08:28:22
阅读次数：
248
1/增加hadoop 的用户;sudo useradd -m hadoop -s /bin/bash创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。设置密码：sudo passwd hadoop2/可为 hadoop 用户增加管理员权限 sudo adduser ... ...
分类：
其他好文 时间：
2016-06-25 08:28:30
阅读次数：
196
独立应用程序（Self-Contained Applications）现在基于一个简单的APP，通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-sub... ...
分类：
其他好文 时间：
2016-06-25 08:27:44
阅读次数：
165
新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用... ...
分类：
其他好文 时间：
2016-06-25 08:26:08
阅读次数：
374
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修... ...
分类：
其他好文 时间：
2016-06-25 08:25:47
阅读次数：
156
1. C++中的多重继承 （1）一个子类可以拥有多个父类 （2）子类拥有所有父类的成员变量 （3）子类继承所有父类的成员函数 （4）子类对象可以当作任意父类对象使用 （5）多重继承的语法规则 class Derived: public BaseA, public BaseB, public Base ...
分类：
其他好文 时间：
2016-06-25 08:25:58
阅读次数：
191
Spark StreamingSpark Streaming 使用 Spark API 进行流计算，这意味着在 Spark 上进行流处理与批处理的方式一样。因此，你可以复用批处理的代码，使用 Spark Streaming 构建强大的交互式应用程序，而不仅仅是用于分析数据。Spark Streami... ...
分类：
其他好文 时间：
2016-06-25 08:25:53
阅读次数：
270
进入交互界面./bin/spark-shell创建textFile，从本地文件，val textFile = sc.textFile("file:///usr/local/spark/README.md")从HDFS读取，scala> val textFile = sc.textFile("inpu... ...
分类：
其他好文 时间：
2016-06-25 08:25:25
阅读次数：
345
缓存Spark 支持在集群范围内将数据集缓存至每一个节点的内存中，可避免数据传输，当数据需要重复访问时这个特征非常有用，例如查询体积小的“热”数据集，或是运行如 PageRank 的迭代算法。调用 cache()，就可以将数据集进行缓存：linesWithSpark.cache() Spark SQ... ...
分类：
其他好文 时间：
2016-06-25 08:27:33
阅读次数：
258
运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作：Configuration conf = new Con... ...
分类：
其他好文 时间：
2016-06-25 08:25:32
阅读次数：
223
最近公司搞征文比赛，就把我以前写过过的数独算法再深入研究了一下，形成这篇小文。一共介绍了五种方法来求解数独：回溯法，排列组合法，精确覆盖问题法，模拟退火法以及约束编程法。 ...
分类：
其他好文 时间：
2016-06-25 07:24:49
阅读次数：
413
CRM：ClusterResourceManagement，集群资源管理crmd：作为进程运行，监控一个端口5560/tcp/mgmtd，提供管理APIGUI：图形化管理界面CLI：命令行管理集群节点超过两个（奇数个），集群分裂时，某一个子集群的法定票数超过半数，可认为自己正常启用crm#vim/etc/ha.d/haresources，..
分类：
其他好文 时间：
2016-06-25 06:21:22
阅读次数：
440
在xshell启动hb_gui出错[root@node1~]#hb_guiTraceback(mostrecentcalllast):File"/usr/bin/hb_gui",line41,in?importgtk,gtk.glade,gobjectFile"/usr/lib64/python2.4/site-packages/gtk-2.0/gtk/__init__.py",line76,in?_init()File"/usr/lib64/python2.4/site-packages/gtk-..
分类：
其他好文 时间：
2016-06-25 06:20:44
阅读次数：
1109
系统启动流程，运行级别及grublinux启动流程POST-BIOS（bootsequence）-MBR(bootloader,446)-Kernel-/sbin/init内核设计风格核心：动态加载，内核模块内核：/lib/modules单内核：linux核心：KO(kernelobject)so()微内核：windows,solaris（线程）chroot根切换，可以把一个临时..
分类：
其他好文 时间：
2016-06-25 06:18:22
阅读次数：
267
1、实现源码
FusionCharts最新版FusionCharts3D柱状图
body,html{
width:99%;
height: 98%;
font-family: "arial rounded mt bold";
font-size: 12px;
}
$(document).ready(fu...
分类：
其他好文 时间：
2016-06-25 06:18:18
阅读次数：
278
