Long time no see. 拓扑排序 英文名称：Topological-sort 别称：toposort or topsort 拓扑排序是干什么的呢 对一个有向无环图(Directed Acyclic Graph简称DAG)G进行拓扑排序，是将G中所有顶点排成一个线性序列，使得图中任意一对顶 ...
分类：
其他好文 时间：
2018-12-02 12:29:29
阅读次数：
279
说明:根据上面的需求描述以及对需求的分析，我们得知通常的一个中小型系统对于权限系统所需实现的功能以及非功能性的需求，在下面我们将根据需求从技术角度上分析实现的策略以及基于目前两种比较流行的权限设计思想来讨论关于权限系统的实现。 1.1. 技术策略 l 身份认证 在B/S的系统中，为识别用户身份，通常 ...
分类：
其他好文 时间：
2018-12-02 12:02:32
阅读次数：
247
Spark官网： http://spark.apache.org/ Spark是适用于大规模数据分析处理的框架， 通过DAG流程图的调度计算，适合处理批量Batch和流式Streaming数据， 相比于Hadoop速度提升100倍左右。 Spark提供四大框架 Spark SQL , SparkSt ...
分类：
其他好文 时间：
2018-12-01 15:28:20
阅读次数：
135
通过Airflow UI，您可以轻松监控数据管道并对其进行故障排除。 以下是您可以在Airflow UI中找到的一些功能和可视化的快速概述。 DAGs查看 您环境中的DAG列表，以及一组有用页面的快捷方式。 您可以一目了然地查看成功，失败或当前正在运行的任务数量。 https://airflow.a ...
分类：
其他好文 时间：
2018-11-29 20:08:08
阅读次数：
202
Airflow Platform是用于描述，执行和监控工作流的工具。 核心理念 DAG的 在Airflow中， DAG （或定向非循环图）是您要运行的所有任务的集合，以反映其关系和依赖关系的方式进行组织。 例如，一个简单的DAG可以包含三个任务：A，B和C.可以说A必须在B可以运行之前成功运行，但C ...
分类：
其他好文 时间：
2018-11-29 20:02:47
阅读次数：
178
Airflow具有一组固定的“测试模式”配置选项。 您可以随时通过调用airflow.configuration.load_test_config()来加载它们（注意此操作不可逆！）。 但是，在您有机会调用load_test_config（）之前，会加载一些选项（如DAG_FOLDER）。 为了急切 ...
分类：
其他好文 时间：
2018-11-29 20:01:32
阅读次数：
156
本教程将向您介绍一些基本的Airflow概念，对象及其在编写第一个管道时的用法。 示例管道定义 以下是基本管道定义的示例。 如果这看起来很复杂，请不要担心，下面将逐行说明。 阅读全文／改进本文 ...
分类：
其他好文 时间：
2018-11-28 22:22:41
阅读次数：
543
操作器代表一个理想情况下是幂等的任务。 操作员确定DAG运行时实际执行的内容。 有关更多信息，请参阅Operators Concepts文档和Operators API Reference 。 BashOperator 模板 故障排除 找不到Jinja模板 PythonOperator 传递参数 模 ...
分类：
其他好文 时间：
2018-11-28 22:18:48
阅读次数：
202
今天一上班，就有人跟我说他们在打开outlook时遇到了证书错误，网页片也会出现这个错误。有一部分人也没事。我呢就去查看邮件服务器，发现有一台已经无法访问了。我们的环境是前面有一台负载均衡，把流量丢给两台邮件服务器。两台服务器做了DAG。我先去邮件系统的ECP去看了一下，还好，现在提供服务的邮件服务器都还是好的，数据库都是挂载状态，证明现在只少没有服务停止。然后去集群看了一下，那台邮件服务器也状态
分类：
其他好文 时间：
2018-11-28 12:22:09
阅读次数：
245
K03CHKJCFT-eyJsaWNlbnNlSWQiOiJLMDNDSEtKQ0ZUIiwibGljZW5zZWVOYW1lIjoibnNzIDEwMDEiLCJhc3NpZ25lZU5hbWUiOiIiLCJhc3NpZ25lZUVtYWlsIjoiIiwibGljZW5zZVJlc3RyaWN ...
分类：
其他好文 时间：
2018-11-28 12:21:14
阅读次数：
554
