Flink的优势和特点： 一、同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Apache Spark也只能兼顾高吞吐和高性能特点，主要是因为Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apa ...
分类：
其他好文 时间：
2020-12-03 11:33:38
阅读次数：
5
数据处理不等式：DataProcessingInequality我是在差分隐私下看到的，新解决方案的可用性肯定小于原有解决方案的可用性，也就是说信息的后续处理只会降低所拥有的信息量。那么如果这么说的话为什么还要做特征工程呢，这是因为该不等式有一个巨大的前提就是数据处理方法无比的强大，比如很多的样本要分类，我们做特征提取后，SVM效果很好，但是如果用DNN之类的CNN、AuToEncoder，那么效
分类：
其他好文 时间：
2020-11-30 15:15:49
阅读次数：
7
Python有3大数据类型，列表，字典和集合，列表和字典前面我都讲过了，今天我们来聊聊Python中的集合.Python的书里面完整全面讲集合的不多，即使有的也只是简单带过，笔墨不多。大部分介绍Python数据结构都是被列表，字典两大网红遮盖了锋芒.貌似集合在Python的世界里很冷门,其实集合里面的东西很有用，有它特定的适用的场景,特别是在数据处理的时候.大显身手.那么说起集合，很多人一定想到了
分类：
编程语言 时间：
2020-11-27 11:10:27
阅读次数：
8
感谢大家一直对公众号的支持和陪伴，本次公众号联合博文视点给大家送一本深度学习的实践书籍，希望大家能够收获多多，新的一年，成长进步！书籍简介深度学习之美：AI时代的数据处理与最佳实践零入门|高可读|重实战|抓前沿准受用的深度学习入门教程，集各项前沿技术之大成含Hinton神经胶囊网络的详细解读扫码直接下单深度学习：基于Keras的Python实践以实践为导向，使用Keras作为编程框架强调简单、快速
分类：
其他好文 时间：
2020-11-27 10:49:59
阅读次数：
4
2. MAPREDUCE框架结构及核心运行机制 2.1 框架架构 一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster(Mapreduce application master)：负责整个程序的过程调度及状态协调2、MapTask：负责map阶段的整个数据处理流程 ...
分类：
其他好文 时间：
2020-11-21 12:15:54
阅读次数：
6
Awk 有几个非常强力的内置变量.通常来说，分为两种类型的内置变量： 第一种是定义的变量可以改变, 比如字段分隔(FS)与记录分隔(RS) 第二种是可以用来数据处理或者数据总结，比如记录数(NR)与字段数目(NF) 本文介绍: FS,OFS, RS, ORS, NR, NR, FNR (1).FS: ...
分类：
系统相关 时间：
2020-11-20 12:10:09
阅读次数：
17
作者：程序之心丁仪 来源：https://chengxuzhixin.com/blog/post/zen_me_cheng_wei_ji_shu_da_niu.html 天天写业务代码，感觉没长进，技术深度止步不前，感觉很烦躁。很多人都在问，怎么样才能成为技术大牛？机会总是留给有准备的人，还是有一些 ...
分类：
其他好文 时间：
2020-11-20 11:35:34
阅读次数：
4
注释 单行注释 // 多行注释 /* 多行注释 多行注释 多行注释 */ 文档注释 /** * @Description HelloWorld * @Author white */ 标识符 关键字 Java 所有的组成部分都需要名字。类名、变量名、方法名都被称为标识符，标识符大小写敏感。 数据类型 ...
分类：
编程语言 时间：
2020-11-19 12:12:07
阅读次数：
8
12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
https://www.cnblogs.com/duhuo/p/5678286.html 感谢都市烟火 Mysql show processlist 排查问题 一、命令概述： mysql show full processlist 用来查看当前线程处理情况，具体信息请参考官网：https://dev ...
分类：
数据库 时间：
2020-11-13 12:15:05
阅读次数：
23
