[TOC] 一、简单介绍 1.1、快速开始 (这里省略了安装的过程) 1.2、源码简单解析 源码文件主要包含了 application.js 、context.js 、request.js 、response.js application.js 是 Koa 的入口文件封装了 ctx、request、 ...
分类:
其他好文 时间:
2020-02-01 11:05:14
阅读次数:
88
MapReduce与spark MapReduce: 操作单一,只有map,reduce spark:提供多种操作:过滤,分组,排序.... (一)spark生态环境: Mesos和YARN都是资源调度管理器 HDFS:分布式系统存储组件 S3:亚马逊提供的云端的简单的存储服务 Tachyon:基于 ...
分类:
其他好文 时间:
2020-01-28 20:53:14
阅读次数:
68
均值模糊 中值模糊 自定义模糊 模糊操作的基本原理 1. 基于离散卷积 2. 定义好每个卷积核 3. 不同卷积核得到不同的卷积效果 4. 模糊是卷积的一种表象 blur 第二个参数是卷积核的大小 :中值模糊 中值模糊对椒盐噪声有很好的去燥效果 自定义: ...
分类:
编程语言 时间:
2020-01-28 17:30:38
阅读次数:
83
概述 Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于 S ...
分类:
其他好文 时间:
2020-01-26 19:27:55
阅读次数:
76
目录 简介 Kafka架构 Kafka存储策略 Kafka删除策略 Kafka broker Kafka Design The Producer The Consumer 复制(Replication) 日志压缩(Log Compaction) Distribution Zookeeper协调控制 ...
分类:
其他好文 时间:
2020-01-26 19:24:21
阅读次数:
67
并查集 1.合并两个集合 2.查询两个数是否在一个集合 基本原理: 每个集合用一棵树来表示,树根的编号就是整个集合的编号,每个结点存储他的父节点,p[x]表示x的父节点 1.是否是一个集合 if( find(a)==find(b) ) 2.合并两个集合 p[find(a)]=find(b) stat ...
分类:
其他好文 时间:
2020-01-26 17:28:04
阅读次数:
84
在上一篇中,我们发现knn和线性回归一样,表现的不是特别好,来看看时间序列的表现 时间序列预测法其实是一种回归预测方法,属于定量预测,其基本原理是;一方面承认事物发展的延续性,运用过去时间序列的数据进行统计分析,推测出事物的发展趋势;另一方面充分考虑到偶然因素影响而产生的随机性,为了消除随机波动的影 ...
分类:
其他好文 时间:
2020-01-24 15:59:40
阅读次数:
176
学习图像识别处理,想在数据分析竞赛中取得较高的排名,看了《深度学习技术图像处理入门》电子书,一边看电子书一边做标记,对配套的代码也做了测试,收获颇多。 从机器学习、图像处理的基本概念入手,逐步阐述深度学习图像处理技术的基本原理以及简单的实现。 学习理论后做实验,使用卷积神经网络进行端到端学习,构建深 ...
分类:
其他好文 时间:
2020-01-24 00:13:43
阅读次数:
103
一、背景简介 RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现。AMQP 的出现其实也是应了广大人民群众的需求,虽然在同步消息通讯的世界里有很多公开标准(如 COBAR的 IIOP ,或者是 SOAP 等),但是在异步消息处理中却不是这样 ...
分类:
其他好文 时间:
2020-01-22 23:46:37
阅读次数:
97
本文始发于个人公众号: TechFlow 上一篇文章当中我们介绍了 朴素贝叶斯模型的基本原理 。 朴素贝叶斯的核心本质是假设样本当中的变量 服从某个分布 ,从而利用条件概率计算出样本属于某个类别的概率。一般来说一个样本往往会含有许多特征,这些特征之间很有可能是有相关性的。为了简化模型,朴素贝叶斯模型 ...
分类:
其他好文 时间:
2020-01-22 11:08:14
阅读次数:
100