还在为传统 DBMS 的性能问题而烦恼?想借助 ODPS 的分布计算能力?但是你又不想学习官方的 SDK ?如果你恰好在老项目中用了 JDBC 访问 Oracle 或 MySQL?那么你可能对这篇文章感兴趣。本文将结合几种常见的使用场景(数据查询、数据导入、第三方客户端工具)来介绍odps-jdbc ...
分类:
数据库 时间:
2017-03-17 18:46:32
阅读次数:
697
异常检测原理是根据训练数据的高斯分布,计算均值和方差,若测试数据样本点带入高斯公式计算的概率低于某个阈值(0.1),判定为异常点。 1 创建数据集转化工具类,把csv数据集转化为RDD数据结构 2 创建异常检测工具类,主要是预测是否为异常点 3异常检测模型类 4 包括启动异常检测模型,优化参数,输出 ...
分类:
编程语言 时间:
2016-08-03 10:28:21
阅读次数:
2231
第七章 分布任务组件 Laxcus 2.0版本的分布任务组件,是在1.x版本的基础上,重新整合中间件和分布计算技术,按照新增加的功能,设计的一套新的、分布状态下运行的数据计算组件和数据构建组件,以及依此建立的新的运行框架、操作管理规范、API接口等。 新分布任务组件的改变主要体现在数据处理能力方面。 ...
分类:
其他好文 时间:
2016-05-12 08:03:21
阅读次数:
239
total: CCF推荐国际学术会议和期刊目录(下载) parts: 点击下载: 计算机体系结构并行与分布计算存储系统.pdf 点击下载: 计算机网络.pdf 点击下载: 网络与信息安全.pdf 点击下载: 软件工程-系统软件-程序设计语言.pdf 点击下载: 数据库-数据挖掘-内容检索.pdf 点
分类:
其他好文 时间:
2016-02-27 21:54:33
阅读次数:
349
入行十几年了,做了不少分布计算、并行计算、内存计算、海量数据处理的项目,按照现在的分类,这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目,只三个。
第一个是我们接到的视频分享网站的视频转码的订单,网站名字就不说了,有替人宣传嫌疑。他们情况是这样,视..
分类:
其他好文 时间:
2016-02-13 15:52:29
阅读次数:
227
查看效果请到 http://philippica.github.io/ 点击blur模糊效果比较好的应该是高斯模糊,一个点的值变成了以该点为圆心的一个圆内所有像素的加权平均,权重由二维正态分布计算出以前用qt实现过一个高斯模糊,但是js的速度毕竟不能和c++比,为了实现一个比较好的效果,这里在效率和...
分类:
其他好文 时间:
2015-10-31 11:30:56
阅读次数:
185
6.11、死锁发生的条件:1) 互斥。正如我们第五章所讨论的,互斥是一种资源分配方式,保证同一个资源在同一时刻最多只能被一个进程占用,它用于防止多个进程同时共享访问不可同时共享访问的资源。2) 不可剥夺的资源分配。系统将一个资源的访问权分配给某一个进程后,系统不能强迫该进程放弃对该资源的控制权。3)...
分类:
其他好文 时间:
2015-07-28 14:23:48
阅读次数:
146
5.11、资源管理方式1)全集中管理方式:所有资源都由一个服务员管理;2)集中分布管理方式:一个资源由一个服务员管理;3)全分布管理方式:一个资源是由多个服务员共同管理。2、多个服务员参加对同一个资源进行控制的方式1)顺序方式:按某种顺序,先由一个服务员控制一段时间,之后再由另一个服务员控制一段时间...
分类:
其他好文 时间:
2015-07-27 14:45:45
阅读次数:
689
4.11、名字的两种形式:地址和标识符2、对一个对象进行操作或访问时,往往需要将它的标识符变换为它的地址,变换的过程中需要用到变换表,这个表换表叫做上下文。3、为了支持资源的迁移,命名系统应至少支持两种形式的名字,即标识符和地址,并且可动态地结合。4、同一个对象可以有用户定义的多个局部名字,需要一种...
分类:
其他好文 时间:
2015-07-18 15:23:34
阅读次数:
138
1.11、促进分布计算系统发展的两大技术:1)计算机硬件技术和软件技术的发展2)计算机网络技术的发展1.21、什么是分布计算系统? 分布计算系统是由多个相互连接的处理资源组成的计算系统,它们在整个系统的控制下可合作执行一个共同的任务,最少依赖于集中地程序、数据和硬件。这些处理资源可以是物理上相邻.....
分类:
其他好文 时间:
2015-07-15 14:39:18
阅读次数:
81