这一段，主要是 Spark 的基本概念，以及Anaconda的基本组成。
数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据. Hadoop 是第一个map-reduce的开源实现. Hadoop 依赖的分布式存储框架叫做 HDFS......Spark 是一个面向大规模数据处理的快速、分布式、通用的分析计算引擎. 主要不同于Hadoop的特点在于........
分类：
编程语言 时间：
2016-05-12 17:50:42
阅读次数：
245
本文讲述用C#调用Ironpython运行环境，解析并运行动态pyhton脚本。这种情况应用在那些需要滞后规定行为的场合，例如，动态计算项（计算引擎），用户可以自定义计算内容、计算公式等。 本文的代码适用于IronPython 2.7(需要下载及安装)及C#4.0，由于IronPython早期版本提 ...
分类：
编程语言 时间：
2016-04-03 13:09:42
阅读次数：
275
发表于：《程序员》杂志2016年2月刊。链接：http://geek.csdn.net/news/detail/54500 作者：徐鑫，董西成 在流式计算领域，Spark Streaming和Storm时下应用最广泛的两个计算引擎。其中，Spark Streaming是Spark生态系统中的重要组成
分类：
其他好文 时间：
2016-02-05 01:17:19
阅读次数：
228
1、熟悉linux操作，包括常见的命令2、了解学习vmware的一些高级的使用场景3、做了一年的基于rdms数据仓库的开发、ETL工具的开发，彻底了解CUBE的计算过程，同时与分布式里面的hive、kylin原理的理解4、安装使用分布式计算引擎、包括hadoop、spark、storm、kakfa、...
分类：
其他好文 时间：
2016-01-26 08:06:42
阅读次数：
150
CPU术语： 从 SQL Server、操作系统、应用程序或驱动程序的角度来看，线程或逻辑处理器是一种逻辑计算引擎。 内核是一个处理器单元，可由一个或多个逻辑处理器组成。 物理处理器可包含一个或多个内核。物理处理器等同于处理器包或插槽。具有多个物理处理器的系统或是具有含多个内核和/或超线程的物理处理...
分类：
其他好文 时间：
2016-01-22 14:12:46
阅读次数：
128
Spark作为一个新的分布式计算引擎正慢慢流行起来，越来越来的企业也准备用它的替换MapReduce,根据自己在工作的一些体会谈谈的优势。分布式计算归根到底还是一个Map和Reduce操作，Map操作对每个数据块进行计算，Reduce操作对结果进行汇总，现在一些NoSQL分布式数据库其实也是这么一套...
分类：
其他好文 时间：
2015-10-28 12:26:25
阅读次数：
254
WordCount是很多分布式计算中，最常用的例子，例如Hadoop、Storm，Iveely Computing也不例外。明白了WordCount在Iveely Computing上的运行原理，就很容易写出新的分布式程序。上一篇中已经知道了如何部署Iveely Computing以及提交任务，现在...
分类：
其他好文 时间：
2015-10-09 18:07:03
阅读次数：
232
Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop?map/reduce非...
分类：
其他好文 时间：
2015-09-18 12:13:31
阅读次数：
128
本人一直从事分布式计算研究和研发，Iveely Computing是我在工作之余写的分布式计算框架，用于大规模集群服务器，简单易用，纯Java开发。至少包含以下功能： 分布式任务分解执行能力。 容灾处理能力。 大数据分析处理能力。 好了，我为什么会写Iveely Computing这样的计算框架呢？...
分类：
其他好文 时间：
2015-08-16 18:09:49
阅读次数：
127
主报表和子报表（或Table表）使用不同的数据库时。JasperReport/Birt等报表工具从功能上可以处理，但在子报表中无法直接使用数据源名，需要使用显式的数据库账号、口令。可以看到这种方式存在一定的安全隐患，而且实施过程比较复杂。
集算器具有结构化强计算引擎，支持多样性数据源，集成简单，可以协助报表工具方便地实现此类需求，下面通过一个例子来说明主子报表多数据源的实现过程。
...
分类：
其他好文 时间：
2015-07-31 10:48:11
阅读次数：
169
