2. 最大数 Descrption 现在请求你维护一个数列,要求提供以下两种操作: 查询操作。 语法:\(Q\ L\) 功能:查询当前数列中末尾 $L$个数中的最大的数,并输出这个数的值。 限制:$L$不超过当前数列的长度。 插入操作。 语法:\(A\ n\) 功能:将$n$加上$t$,其中$t$ ...
分类:
其他好文 时间:
2020-06-26 12:50:07
阅读次数:
47
python的 if-else 有很多简洁的写法,下面一一介绍。 1. 普通写法 # a 和 b 中的较大数赋值给 c a, b, c = 1, 2, 3 if a > b: c = a else: c = b print(c) 2. if ... else 一行表达式 """ 当if为真时,var ...
分类:
其他好文 时间:
2020-06-26 11:06:45
阅读次数:
49
一、简介 在 Spark 中,提供了两种类型的共享变量:累加器 (accumulator) 与广播变量 (broadcast variable): 累加器:用来对信息进行聚合,主要用于累计计数等场景; 广播变量:主要用于在节点间高效分发大对象。 二、累加器 这里先看一个具体的场景,对于正常的累计求和 ...
分类:
其他好文 时间:
2020-06-26 10:59:41
阅读次数:
50
?所谓大数据(Big Data),就是需要处理的数据量非常巨大,已经达到了 TB、PB 甚至 EB、ZB 级别,需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击,只能探索一套新的解决方案。 这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍,包括大数据思维、 ...
分类:
其他好文 时间:
2020-06-26 01:29:48
阅读次数:
95
一、安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包: # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ...
分类:
其他好文 时间:
2020-06-25 21:47:14
阅读次数:
74
一、RDD简介 RDD 全称为 Resilient Distributed Datasets,是 Spark 最基本的数据抽象,它是只读的、分区记录的集合,支持并行操作,可以由外部数据集或其他 RDD 转换而来,它具有以下特性: 一个 RDD 由一个或者多个分区(Partitions)组成。对于 R ...
分类:
其他好文 时间:
2020-06-25 21:27:05
阅读次数:
66
? 程序员往往一心扑在编程技术上面,学习编程语言,算法,网络,自己子领域相关的知识等等。这非常正确,也是作为coder的核心竞争力所在,姑且称之为“硬技能”吧。 对于有一个程序员来说除了日常码代码之外,其实也需要很多编程之外的软件能,非专业上面的技能可以更好的展现你的情商,与人合作的能力等。 以程序 ...
分类:
其他好文 时间:
2020-06-24 22:07:21
阅读次数:
66
1、概述 大数据程序员为什么要学习Shell? (1)需要看懂运维人员编写的shell程序 (2)偶尔会编写一些简单shell程序来管理集群、提高开发效率 Shell是 一个命令行解释器,它接收应用程序/用户命令,然后调用操作系统内核 Shell是一个功能强大的编程语言、易编写、易调试、灵活性强 2 ...
分类:
系统相关 时间:
2020-06-24 19:56:46
阅读次数:
63
消息队列 为什么用? 解耦,削峰,异步 基本模型 生产者 -> MQ -> 消费者 Kafka 十万级/s 适用于大数据领域实时计算,日志采集, ActiveMQ 万/s , RabbitMQ 万/s , RocketMQ 十万/s 造成问题及解决 1.系统可用性降低 (MQ发生故障,全崩了) 2. ...
分类:
其他好文 时间:
2020-06-24 19:24:18
阅读次数:
68
人效反映了企业的精细化管理、整体运营水准,以及组织的效率水平,人效背后反映的是整个企业的管理水平的高低。在人均成本逐年提高的前提下,如何在合理的人员架构下增加人均产出,将成为企业数字化转型探讨的重点。 而提升人效的关键在于将门店的补货、促销等运营行为运用数据技术和算法提前做出决策,科技手段赋能拉动决 ...
分类:
其他好文 时间:
2020-06-24 16:29:14
阅读次数:
60