生态 Spark Core：最重要，其中最重要的是RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib：机器学习算法 Spark Graphx：图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快，易用，兼容性强 体系架构 主节点：C ...
分类：
数据库 时间：
2020-06-03 20:48:29
阅读次数：
89
1.简述人工智能、机器学习和深度学习三者的联系与区别。 解析：人工智能是机器诠释的人类智能，是机器学习和深度学习后想实现的结果和目的，机器学习是实现人工智能的方法，深度学习是机器学习算法中的一种算法，一种实现机器学习的技术和学习方法。 2. 全连接神经网络与卷积神经网络的联系与区别。 解析：卷积神经 ...
分类：
其他好文 时间：
2020-06-01 11:53:33
阅读次数：
66
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将从模型角度入手带领大家来再次深入Alink。 ...
分类：
其他好文 时间：
2020-05-23 09:58:18
阅读次数：
99
模型有很多参数，如何找到最佳的参数组合？ 调整参数何时为止：应该遵循偏差和方差协调的原则。 本章将介绍： 调整参数对机器学习的重要性 如何使用网格搜索优化参数 如何使用随机搜索优化参数 机器学习算法调参 调整算法参数是采用机器学习解决问题的最后一个步骤，有时也被称为超参数优化。 参数可以分为两种：一 ...
分类：
编程语言 时间：
2020-05-23 09:19:48
阅读次数：
52
有时提升一个模型的准确度很困难，尝试所有曾学习过的策略和算法，但模型的正确率并没有改善。 前面介绍的算法中，每种算法都有不同的适用范围，可以把多种机器学习算法组合在一起，这时提高算法准确度的有效方法之一。 接下来介绍如何通过scikit-learn来实现集成算法，包括： 装袋（Bagging）算法： ...
分类：
编程语言 时间：
2020-05-22 09:26:55
阅读次数：
52
机器学习入门与进阶 "一.机器学习基础与特征工程" "二.机器学习算法篇 线性回归(1)" "二.机器学习算法篇 线性回归(2)" 更新中... ...
分类：
其他好文 时间：
2020-05-21 23:56:26
阅读次数：
83
机器学习算法及代码实现–支持向量机 1、支持向量机 SVM希望通过N-1维的分隔超平面线性分开N维的数据，距离分隔超平面最近的点被叫做支持向量，我们利用SMO（SVM实现方法之一）最大化支持向量到分隔面的距离，这样当新样本点进来时，其被分类正确的概率也就更大。我们计算样本点到分隔超平面的函数间隔，如 ...
分类：
编程语言 时间：
2020-05-18 18:51:25
阅读次数：
59
随着大数据时代的到来和人工智能的崛起，机器学习所能处理的场景更加广泛和多样。构建的模型需要对批量数据进行处理，为了达到实时性的要求还需要直接对流式数据进行实时预测，还要具备将模型应用在企业应用和微服务上能力。为了取得更好的业务效果，算法工程师们需要尝试更多更复杂的模型，需要处理更大的数据集，使用分布式集群已经成为常态；为了及时对市场的变化进行反应，越来越多的业务选用在线学习方式直接处理流式数据、实时更新模型，提高业务效果。
分类：
编程语言 时间：
2020-05-18 18:40:02
阅读次数：
129
机器学习算法及代码实现–神经网络 1、神经网络 神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。 ...
分类：
编程语言 时间：
2020-05-18 18:39:28
阅读次数：
86
[TOC] 数据分析流程 数据介绍 项目流程 ...
分类：
其他好文 时间：
2020-05-14 17:29:13
阅读次数：
61
