Apache Spark MLlib是Apache Spark体系中重要的一块拼图：提供了机器学习的模块。不过，目前对此网上介绍的文章不是很多。拿KMeans来说，网上有些文章提供了一些示例程序，而这些程序基本和Apache Spark 官网上的程序片断类似：在得到训练模型后，几乎都没有展示如何使用该模型、程序执行流程、结果展示以及举例测试数据等部分。笔者根据Apache Spark官网上的程序片断，写了一个完整的调用MLlib KMeans库的测试程序，并成功在Spark 1.0 + Yarn 2.2 的...
分类：
其他好文 时间：
2014-07-28 00:01:39
阅读次数：
343
Java线程：概念与原理一、操作系统中线程和进程的概念现在的操作系统是多任务操作系统。多线程是实现多任务的一种方式。进程是指一个内存中运行的应用程序，每个进程都有自己独立的一块内存空间，一个进程中可以启动多个线程。比如在Windows系统中，一个运行的exe就是一个进程。线程是指进程中的一个执行流程...
分类：
编程语言 时间：
2014-07-26 17:09:51
阅读次数：
325
stage执行顺序stage {'zero': } ->stage {'first': } ->stage {'openstack-custom-repo': } ->stage {'netconfig': } ->stage {'corosync_setup': } ->stage {'opens...
分类：
其他好文 时间：
2014-07-24 22:21:42
阅读次数：
366
首先声明一下，这篇文章是我的原创，但是，这些数据不是我总结出来的，大家可以搜索下“百度工程师HDK”，这些数据是他提供的，我只是给一个总结，因为他那篇文章很长，我这里提炼了几点要点。
要了解函数的性能，首先要知道函数的执行流程，它首先通过scanning被转化为语言片段（tokens），然后通过parsing为简单有意义的表达式，然后compile（编译）为Opcode，最后exec...
分类：
Web程序 时间：
2014-07-24 10:34:51
阅读次数：
267
进程是指一个内存中运行的应用程序，每个进程都有自己独立的一块内存空间，一个进程中可以启动多个线程。比如在Windows系统中，一个运行的exe就是一个进程。线程是指进程中的一个执行流程，一个进程中可以运行多个线程。比如java.exe进程中可以运行很多线程。线程总是属于某个进程，进程中的多个线程共享...
分类：
编程语言 时间：
2014-07-16 19:11:13
阅读次数：
204
Catalyst定位
其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询，需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。
对应上图中，主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程，物理执行计划基于成本的优化模型，具体物理算子的执行都由系统自己实现。
Catalyst现状
在解析器方面提供的是一个简单的scala...
分类：
数据库 时间：
2014-07-16 17:34:38
阅读次数：
391
前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是如何处理map之后的collect输出的数据。 map端的主要处理流程
图1 MapTask处理流程 图1所示为MapTask的主要代码执行流程，在MapTask启动后会进入入口run函数，根据是否使用...
分类：
其他好文 时间：
2014-07-14 13:31:33
阅读次数：
392
go:
控制批处理中的命令执行流程
命令格式:
go label
lable--行号
demo
bat
@echo off
echo 跳过中间，执行最后
goto last
type a.txt
:last
dir .
pause
a.txt
aaaaa
结果:...
从源代码的角度来看一下Spark SQL的核心执行流程吧...
分类：
数据库 时间：
2014-07-12 21:07:32
阅读次数：
299
1.Async介绍
sync是一个流程控制工具包，提供了直接而强大的异步功能。基于Javascript为Node.js设计，同时也可以直接在浏览器中使用。
Async提供了大约20个函数，包括常用的 map, reduce, filter, forEach 等，异步流程控制模式包括，串行(series)，并行(parallel)，瀑布(waterfall)等。
项目地址：ht...
分类：
Web程序 时间：
2014-07-12 20:45:21
阅读次数：
237
