一个场景，比如jwt token 回收的问题（token 合法，但是阻止请求） krakend 的解决方法是基于bloom filter 机制 保留blocked token 在内存中 基于rpc的blocked token 传播 token 检查&&阻止非法请求 使用 bloom fliter c ...
分类：
其他好文 时间：
2020-12-31 11:51:04
阅读次数：
0
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst ...
分类：
系统相关 时间：
2020-08-27 11:48:09
阅读次数：
63
一.什么是机器学习？ 什么是机器学习？Herbert Sinmon给“学习”做出了这样的定义：“如果一个系统能够通过执行某个过程而改进性能，这就是学习。”更通俗的理解是：机器学习能够自动地从数据中学习“程序”，而这个程序不是人来编写的。 平面上有两类点，黄色代表类别a，蓝色代表类别b。这时我们希望能 ...
分类：
其他好文 时间：
2020-07-26 15:43:33
阅读次数：
56
第0章-课程介绍 第1章-大数据技术概述 第2章-Scala语言基础 第3章-Spark的设计与运行原理 第4章-Spark环境搭建和使用方法 第5章-RDD编程 第6章-Spark-SQL 第7章-Spark-Streaming 第8章-Spark-MLlib ...
分类：
其他好文 时间：
2020-06-10 23:09:12
阅读次数：
145
生态 Spark Core：最重要，其中最重要的是RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib：机器学习算法 Spark Graphx：图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快，易用，兼容性强 体系架构 主节点：C ...
分类：
数据库 时间：
2020-06-03 20:48:29
阅读次数：
89
一. Spark简介 1.1 前言 Apache Spark是一个计算系统，它的处理速度很快，很通用，并且能集群部署。可以通过Scala，Java，Python和R来操作API。它还提供了了一些高级工具，比如Spark SQL（通过SQL操作）,MLlib(机器学习用的)，Graphx（图形化操作用 ...
分类：
其他好文 时间：
2020-04-20 11:44:10
阅读次数：
80
1、概述 随机森林是决策树的集合。随机森林是用于分类和回归的最成功的机器学习模型之一。他们结合了许多决策树，以减少过度拟合的风险。像决策树一样，随机森林处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。 spark.mllib支持使用连续和分类功能对二元和多类分类以及进 ...
分类：
其他好文 时间：
2020-03-04 12:28:12
阅读次数：
105
今天主要学习了实验 7 Spark 机器学习库 MLlib 编程实践， 主要代码： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Ve ...
分类：
其他好文 时间：
2020-02-10 16:34:34
阅读次数：
132
Apache Spark 是一个快速的、多用途的集群计算系统。在 Java，Scala，Python 和 R 语言以及一个支持常见的图计算的经过优化的引擎中提供了高级 API。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 Spark SQL，用于机器学习的 MLlib，用于图形处... ...
分类：
其他好文 时间：
2020-02-06 12:48:11
阅读次数：
76
今天的学习主要是了解spark生态体系以及观看了子雨大数据之Spark入门教程（Scala版）的介绍，现将对spark的初步了解以及日后可能会用到的一些知识总结如下： 一、spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People L ...
分类：
其他好文 时间：
2020-02-02 01:33:35
阅读次数：
93
