设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
因为http协议是无状态协议,又称为一次性连接,所以webapp必须有一种机制 能够记住用户的一系列操作,并且唯一标示一个用户。 Cookie: 又称为小饼干,实际就是使用一个短文本保存用户信息, 在页面加载完毕是通过响应写回客户端进行保存。 Session: 在服务器保存数据，Session就是单 ...
分类：
其他好文 时间：
2020-12-03 12:19:12
阅读次数：
5
1 class O3_1 { 2 public static void main(String args[ ]) { 3 int[][] twoD=new int[4][5]; 4 int i,j,k= 0; 5 for(i=0;i<twoD.length;i++) { 6 for(j=0;j<tw ...
分类：
其他好文 时间：
2020-12-02 12:48:38
阅读次数：
18
本质：测试步骤一致，测试数据不同 import pytest ''' 是对列表中的对象循环，然后一一的赋值 对象： 列表 元组 字典 ''' def add(a,b): return a + b #列表 @pytest.mark.parametrize('a,b,expect',[ [1,1,2], ...
分类：
其他好文 时间：
2020-12-02 12:33:04
阅读次数：
4
一 环境准备 pip install flask pip install --ignore-installed PyYAML pip install prometheus_client 二 包引入 from prometheus_client import Gauge from prometheus ...
分类：
其他好文 时间：
2020-12-02 12:18:57
阅读次数：
5
原创梁金荣、戴君毅等Linux阅码场2月26日简介本文由西邮陈莉君教授研一学生梁金荣、戴君毅、马明慧等翻译，陈莉君、宋宝华老师指导和审核。译者梁金荣、戴君毅、马明慧等同学热爱开源，践行开放、自由和分享。原文地址：https://easyperf.net/blog/2019/10/05/Performance-Analysis-Of-MT-apps精品英文Linux系列文章翻译工作，由Linux阅码
分类：
编程语言 时间：
2020-12-02 12:13:34
阅读次数：
5
本次来讲解与SQL查询有关的两个小知识点，掌握这些知识点，能够让你避免踩坑以及提高查询效率。1、允许字段的值为null，往往会引发灾难首先，先准备点数据，后面好演示createtableanimal(idint,namechar(20),index(id))engine=innodb;index(id)表示给id这个字段创建索引，并且id和name都允许为null。接着插入4条数据，其中最后一条数
分类：
数据库 时间：
2020-12-01 12:23:45
阅读次数：
14
该系列文档是本人在学习 Mybatis 的源码过程中总结下来的，可能对读者不太友好，请结合我的源码注释（Mybatis源码分析 GitHub 地址、Mybatis-Spring 源码分析 GitHub 地址、Spring-Boot-Starter 源码分析 GitHub 地址）进行阅读 MyBati ...
分类：
数据库 时间：
2020-12-01 12:14:50
阅读次数：
12
作者 | 弗拉德 来源 | 弗拉德（公众号：fulade_me) Go 系列 《Mastering GO》 推荐语：本书适用于Golang程序员。您之前应该阅读有关Go的介绍性书籍。本书的内容包括但不限于并发、网络编程、垃圾回收、组合、GO UNIX系统编程、基本数据类型（Array,Slice,M ...
分类：
其他好文 时间：
2020-12-01 12:08:31
阅读次数：
5
之前的转换算子是无法访问事件的时间戳信息和水位线信息的，而这在一些应用场景下，极为重要。例如MapFunction这样子的map转换算子就无法访问时间戳或者当前事件的事件事件。基于此，DataStreamAPI提供了一系列LOW-LEVEL的转换算子调用。可以访问时间戳，watermark以及注册定时事件，还可以输出特定的一些事件，例如超时时间等。processfunction用来构建事件驱动的应
分类：
其他好文 时间：
2020-12-01 11:59:48
阅读次数：
3
