1.1 什么是 Azkaban Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通 过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 j ...
分类：
其他好文 时间：
2020-07-29 00:41:05
阅读次数：
74
本篇目标 抓取淘宝MM的姓名，头像，年龄 抓取每一个MM的资料简介以及写真图片 把每一个MM的写真图片按照文件夹保存到本地 熟悉文件保存的过程 PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取 1.URL的格式 在这里我们用到的URL是 http://mm.taobao.c ...
分类：
编程语言 时间：
2020-07-28 17:14:57
阅读次数：
88
前言 本系列着重介绍Prometheus以及如何用它和其周边的生态来搭建一套属于自己的实时监控告警平台。 本系列受众对象为初次接触Prometheus的用户，大神勿喷，偏重于操作和实战，但是重要的概念也会精炼出提及下。系列主要分为以下几块 Prometheus各个概念介绍和搭建，如何抓取数据(一步步 ...
分类：
其他好文 时间：
2020-07-28 14:37:18
阅读次数：
132
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2020-07-28 14:21:17
阅读次数：
191
import requests #UA伪装： #UA:User-Agent(请求载体的身份标识)检测: #门户网站的服务器会检测对应请求的身份载体标识，如果检测到请求的载体身份标识为某一款浏览器 #说明该请求是一个正常的请求，但是，如果检测到请求的载体身份标识不是某一款浏览器的，则表示该请求不是正常 ...
分类：
Web程序 时间：
2020-07-28 10:17:22
阅读次数：
79
import requests import json if __name__ == "__main__": url = 'https://movie.douban.com/j/chart/top_list' param = { 'type':'24', 'interval_id':'100:90' ...
分类：
其他好文 时间：
2020-07-28 10:16:51
阅读次数：
79
上篇我们完成了数据源保存功能，并顺便看了保存后的数据源列表展示功能。 本篇我们开始开发预览功能，用户预览主要步骤： 1、点击数据源卡片预览按钮 2、查看数据源包含的表 3、点击表名，预览表中数据 一、前端结构及样式 效果如下图（静态html示意图）： 左侧是数据源及包含的表。 右上为筛选条件（筛选条 ...
分类：
Web程序 时间：
2020-07-28 10:13:03
阅读次数：
100
对于Java开发而言，Java虚拟机是开发工作中必须要理解和掌握的知识内容，也是Java面试中面试官常会问到的考点。在本课程中，我将带你循序渐进的学习JVM：从源码到运行、类加载，再到内存分配和垃圾回收，以及JVM调优的技巧与实战。整个课程基于JDK13讲解，理论-实战-面试三结合，带你剖析整个JVM知识体系，JVM问题一站解决。一、首先JVM是什么JVM它是JavaVirtualMachine的
分类：
其他好文 时间：
2020-07-27 23:38:44
阅读次数：
119
先看再点赞，给自己一点思考的时间，微信搜索【沉默王二】关注这个靠才华苟且的程序员。本文 GitHub github.com/itwanger 已收录，里面还有一线大厂整理的面试题，以及我的系列文章。 Immutable List，顾名思义，就是，啥，不明白 Immutable 是什么意思？一成不变的 ...
分类：
其他好文 时间：
2020-07-27 17:49:59
阅读次数：
80
一、需要使用requests下的会话对象； 会话对象让你能够跨请求保持某些参数。它也会在同一个Session实例发出的所有请求之间保持cookie。 方法级别的参数不会被跨请求保持。 参考：https://requests.readthedocs.io/zh_CN/latest/user/advan ...
分类：
编程语言 时间：
2020-07-27 15:46:41
阅读次数：
134
