什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
1B(byte 字节) = 8bit(位) 字节简介 序号 数据类型 大小/位 占用字节 1 float 32 4 2 double 64 8 示例 public class Demo { public static void main(String[] args) { // 定义一个float类型 ...
分类：
其他好文 时间：
2021-06-23 17:16:21
阅读次数：
0
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
简介 在 Kubernetes 中，调度是指将 Pod 放置到合适的 Node 上，然后对应 Node 上的 kubelet 才能够运行这些 Pod。K8s scheduler 就是用来调度 pod 的一个组件。 本文主要是通过源码了解调度器的部分工作流程。 源码分析 Based on Kubern ...
分类：
其他好文 时间：
2021-06-23 16:45:44
阅读次数：
0
1 概述 1.1 决策树是如何工作的 决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集 ...
分类：
编程语言 时间：
2021-06-23 16:38:22
阅读次数：
0
一、简介 人脸检测是人脸识别、人机交互、智能视觉监控等:工作的前提。近年来,在模式识别与计算机视觉领域,人脸检测已经成为一个受到普遍 重视、研究十分活跃的方向。本文针对复杂背景下的彩色正面人脸图像，将肤色分割、模板匹配与候选人脸图像块筛选结合起来，构建了人脸检测实验系统，并用自制的人脸图像数据库在该 ...
分类：
其他好文 时间：
2021-06-23 16:37:10
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
布局和常用Panel学习 一、简介 所有的WPF布局容器都派生自System.Windows.Controls.Panel。Panel继承自FrameworkElement。 在Panel中有一个比较重要的属性是UIElementCollection 类型的Children属性,UIElementC ...
简介： 网络爬虫（又被称为网页蜘蛛)，网络机器人，是一种按照一定的规则，自动地抓信息的程序或者脚本。假设互联网是一张很大的蜘蛛网，每个页面之间都通过超链接这根线相互连接，那么我们的爬虫小程序就能够通过这些线不断的搜寻到新的网页。 Python作为一种代表简单主义思想的解释型、面向对象、功能强大的高级 ...
分类：
编程语言 时间：
2021-06-22 18:34:26
阅读次数：
0
简介： 云原生是一种新型技术体系，是云计算未来的发展方向。今天，阿里云李飞飞将和我们分享何为云原生、云原生如何与分布式有机结合，以及云原生技术如何帮助客户迈入数字原生时代。 作者 | 飞刀来源 | 阿里技术公众号 云原生是一种新型技术体系，是云计算未来的发展方向。今天，我来谈谈何为云原生、云原生如何 ...
分类：
数据库 时间：
2021-06-22 18:24:41
阅读次数：
0
