一、 hive流程 hive与hdfs 和 yarn、mr 交互 动态 First : hive从 hdfs中拉取数据 （ .txt文件） Second : hive 与 SQL 交互。。。即 获取 模板信息 ※ ： 模板信息 三个映射 A 表 与 文件 B 字段 与 文件内容 C 分割符 deli ...
分类：
其他好文 时间：
2020-01-02 22:21:16
阅读次数：
76
AirFlow管理界面的使用AirFlow的webserverUIDAGS左侧On/Off按钮控制DAG的运行状态，Off为暂停状态，On为运行状态。注意：所有DAG脚本初次部署完成时均为Off状态。若DAG名称处于不可点击状态，可能为DAG被删除或未载入。若DAG未载入，可点击右侧刷新按钮进行刷新。注意：由于可以部署若干WebServer，所以单次刷新可能无法刷新所有WebServer缓存，可以
分类：
其他好文 时间：
2019-12-30 00:03:38
阅读次数：
423
三、Hystrix容错 Hystrix的容错主要是通过添加容许延迟和容错方法，帮助控制这些分布式服务之间的交互。 还通过隔离服务之间的访问点，阻止它们之间的级联故障以及提供回退选项来实现这一点，从而提高系统的整体弹性。Hystrix主要提供了以下几种容错方法： 资源隔离 熔断 降级 1、资源隔离 线 ...
分类：
其他好文 时间：
2019-12-28 22:54:08
阅读次数：
107
COMP2396 Object-oriented programming and JavaAssignment 5: A two-player Tic-Tac-Toe GameDue Date: 22th Dec 2019 23:59This assignment tests your unders ...
分类：
其他好文 时间：
2019-12-28 19:24:48
阅读次数：
92
NearestNeighbors(n_neighbors=5, radius=1.0, algorithm='auto', leaf_size=30, metric='minkowski', p=2, metric_params=None, n_jobs=None） Parameters(参数): ...
分类：
其他好文 时间：
2019-12-26 19:17:16
阅读次数：
332
一、列表： 列表的下标是从0开始的，最后一个元素的下标可以用 -1，取元素的时候”顾头不顾尾“。定义如下列表： names = ["Alex","Tenglan","Eric","Rain","Tom","Amy"] 1、切片： 1 >>> names = ["Alex","Tenglan","Er ...
分类：
编程语言 时间：
2019-12-23 19:10:53
阅读次数：
118
夜间多个任务同时并行，总有几个随机性有任务失败，查看日志： cat -n ads_channel.log |grep "Caused by" 7732 Caused by: java.util.concurrent.ExecutionException: java.io.IOException: R ...
分类：
编程语言 时间：
2019-12-21 13:26:05
阅读次数：
117
Python高级应用程序设计任务要求 用Python实现一个面向主题的网络爬虫程序，并完成以下内容：（注：每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台） 一、主题式网络爬虫设计方案（15分） 1.主题式网络爬虫名称 京东商品比价定向爬虫2.主题式网络爬虫爬取的内容与数据特征分析 对 ...
分类：
编程语言 时间：
2019-12-20 20:09:39
阅读次数：
87
前言：今天从早上开始写吴恩达多层神经网络的题目。反复运算，出现一个天坑，一个存储矩阵的字典parameters的W1和b1在传入函数updata_parameters前维数还是（7， 12288）， 传进去后变成了（3， 4）导致不能和grads["dW1"]的维数（7， 12288）进行广播出错。 ...
分类：
其他好文 时间：
2019-12-18 00:00:04
阅读次数：
301
