这一段,主要是 Spark 的基本概念,以及Anaconda的基本组成。
数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据. Hadoop 是第一个map-reduce的开源实现. Hadoop 依赖的分布式存储框架叫做 HDFS......Spark 是一个面向大规模数据处理的快速、分布式、通用的分析计算引擎. 主要不同于Hadoop的特点在于........
分类:
编程语言 时间:
2016-05-12 17:50:42
阅读次数:
245
本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/blog/8/8-145.html
1、 AOP(AbstractOrientedProgramming):面向抽象编程,面向接口编程,更灵活,代码可维护性高;
2、 IoC(Inversion of Control):控制反转,把原来需要自己new来提供的对象改成容器来提供,通过配置文件配置,自动...
分类:
编程语言 时间:
2016-05-12 17:49:55
阅读次数:
212
一,简单介绍Spring中资源处理相关类BeanFactory beanFactory=new XmlBeanFactory(new ClassPathResource("applicationContext.xml"));在Spring中,定义了接口InputStreamSource,这个类中只包含一个方法:public interface InputStreamSource {
/**...
分类:
编程语言 时间:
2016-05-12 17:50:13
阅读次数:
222
集合是编程中最常用的数据结构。而谈到并发,几乎总是离不开集合这类高级数据结构的支持。比如两个线程需要同时访问一个中间临界区(Queue),比如常会用缓存作为外部文件的副本(HashMap)。文章主要分析jdk1.5的3种并发集合类型(concurrent,copyonright,queue)中的ConcurrentHashMap,让我们从原理上细致的了解它们,能够让我们在深度项目开发中获益非浅。...
分类:
编程语言 时间:
2016-05-12 17:48:41
阅读次数:
157
Mixtures of Gaussian
这一讲,我们讨论利用EM (Expectation-Maximization)做概率密度的估计。假设我们有一组训练样本x(1),x(2),...x(m){x^{(1)}, x^{(2)},...x^{(m)}},因为是unsupervised的学习问题,所以我们没有任何y的信息。
我们希望利用一个联合分布p(x(i),z(i))=p(x(i)|z(i)...
分类:
编程语言 时间:
2016-05-12 17:49:17
阅读次数:
158
对于时间数据,如2016-05-05 20:28:54,有时需要与时间戳进行相互的运算,此时就需要对两种形式进行转换,在Python中,转换时需要用到time模块,具体的操作有如下的几种:
将时间转换为时间戳
重新格式化时间
时间戳转换为时间
获取当前时间及将其转换成时间戳
1、将时间转换成时间戳将如上的时间2016-05-05 20:28:54转换成时间戳,具体的操作过程为:
利用strptime...
分类:
编程语言 时间:
2016-05-12 17:47:24
阅读次数:
248
字典是Python中唯一的映射类型。映射类型对象里哈希值(键:key),和指向的对象(值:value),是一对多的关系,也就是
字典的元素分为两个部分,分别是键和值,一个键对应一个值,键不能够重复,值可以重复。
1.创建字典。
(1).字典是用大括号({})来包含元素的,基本创建就是直接赋值,键不能是元组或者列表,但是值可以是。
>>> D = {'a':1,'b':2,'c':3...
分类:
编程语言 时间:
2016-05-12 17:41:54
阅读次数:
482
(1)原理和代码以及时间复杂度分析
1.计数排序的原理:设被排序的数组为A,排序后存储到B,C为临时数组。所谓计数,首先是通过一个数组C[i]计算大小等于i的元素个数,此过程只需要一次循环遍历就可以;在此基础上,计算小于或者等于i的元素个数,也是一重循环就完成。下一步是关键:逆序循环,从length[A]到1,将A[i]放到B中第C[A[i]]个位置上。原理是:C[A[i...
分类:
编程语言 时间:
2016-05-12 17:40:19
阅读次数:
156
设计模式——单例模式(Java)——考虑多线程环境下的线程安全问题
一:单例模式概念
单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中一个类只有一个实例
二:单例模式的实现方式
特别注意,在多线程环境下,需要对获取对象实例的方法加对象锁(synchronized)
方式一:(懒汉式)程序执行过程中需要这个类的对象,...
分类:
编程语言 时间:
2016-05-12 17:41:36
阅读次数:
191
一.求和
从键盘中输入10个数放入数组a,求a数组中正数和负数的和。
#include
void main()
{
int a[10],i=0,sum1=0,sum2=0;
cout<<"从键盘上输入10个数:"<<endl;
for(i=0;i>a[i];
...
分类:
编程语言 时间:
2016-05-12 17:41:04
阅读次数:
251
5.6 try语句块和异常处理:
throw表达式,异常检测部分使用throw表达式来表示它遇到了无法处理的问题。我们说throw引发了异常try语句块,异常处理部分使用try语句块处理异常。try语句块以关键字try开始,并以一个或多个catch子句结束。try语句块中代码抛出的异常通常会被某个catch子句处理。因为catch子句“处理”异常,所以它们也被称作异常处理代码。一套异常类,用...
分类:
编程语言 时间:
2016-05-12 17:39:58
阅读次数:
230
项目5-求和
#include
using namespace std;
int main()
{
int a[10],i,sum1=0,sum2=0;
cout<<"请输入十个数";
for(i=0;i>a[i];
for(i=0;i=0)
sum1+=a[i];
else
sum2+=a[i];...
分类:
编程语言 时间:
2016-05-12 17:41:36
阅读次数:
200
在使用eclipse进行整合springmvc时经常会碰到这样的异常: java.lang.ClassNotFoundException:org.springframework.web.context.ContextLoaderListener
这时里的意思是说找不到jar包,如果使用的是maven管理jar包,会发现jar包明明已经有了,但还是报错;如果mvn package生成一个war包发...
分类:
编程语言 时间:
2016-05-12 17:39:22
阅读次数:
154
java内部类和外部类实现链表数据结构...
分类:
编程语言 时间:
2016-05-12 17:39:57
阅读次数:
197
一、数组分离。
#include
using namespace std;
int main()
{
const int N=10;
int i,j=0,k=0,a[N],b[N],c[N];
cout<<"请输入十个整数:";
for(i=0;i>a[i];
}
for(i=0;i<N;i++)
...
分类:
编程语言 时间:
2016-05-12 17:37:56
阅读次数:
166
/*
利用HashSet来存储自定义元素
HashSet集合保证元素唯一性的依据:
是通过两个方法,hashCode和equals来完成。
如果元素的HashCode值相同,才会判断equals是否为true。
如果元素的HashCode值不同,不会调用equals。
这两个方法都是HashSet调用的,并没有显式调用。
注意:对于判断元素是否存在,以及删除等操作,依赖的方法是元素的hash...
分类:
编程语言 时间:
2016-05-12 17:38:57
阅读次数:
189
C语言类型转换与原型申明关于整型字面值字面值这个术语是字面常量值的缩写,指定了自身的值,并且不允许发生改变。当有一程序内出现整形字面值时,它是属于整型家庭9种不同类型中的哪一种呢?这取决于如何书写,例如下整型字面值后添加字符L(长整型)、U(无符号整型)。另外,字符常量(例:’M’、’\377’)的类型总是int。类型转换c语言中类型转换比一般人想象的要广泛得多。在涉及类型小于int或double的...
分类:
编程语言 时间:
2016-05-12 17:37:00
阅读次数:
298