Python 标准库、第三方库 Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库、函数和外部工具。其中既有Python内置函数和标准库，又有第三方库和工具。这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器 ...
分类：
编程语言 时间：
2019-08-23 10:49:32
阅读次数：
126
分布式系统的特点：1、面向接口代理的高性能RPC调用：A服务调用B服务器的接口，直接调用即可。其中使用zookeeper注册中心进行关联）2、智能的负载均衡：服务器与服务器之间实现分流处理，解决并发问题。3、运行期间实现流量调度：灰度发布（例：在生产环境发布时，可先更新一部分服务器的代码，后稳定运行 ...
分类：
其他好文 时间：
2019-08-22 16:04:19
阅读次数：
100
随着业务的发展，数据量剧增，我们一些简单报表大盘类的任务，就不能简单的依赖于RDBMS了，而是依赖于数仓之类的大数据平台。 数仓有着巨量数据的存储能力，但是一般都存在一定数据延迟，所以要想完全依赖数数仓来解决实时报表问题，是困难的。 其实，所谓的实时报表，往简单了说就是: 对现在的一些数据进行加减乘 ...
分类：
其他好文 时间：
2019-08-18 11:42:09
阅读次数：
67
一、简介 ApacheKafka 是一个分布式的流处理平台。它具有以下特点： + 支持消息的发布和订阅，类似于 RabbtMQ、ActiveMQ 等消息队列； + 支持数据实时处理； + 能保证消息的可靠性投递； + 支持消息的持久化存储，并通过多副本分布式的存储方案来保证消息的容错； + 高吞吐率 ...
分类：
其他好文 时间：
2019-08-18 09:47:48
阅读次数：
78
第八关 又是黑名单绕过，但是没有处理“ ::$DATA ” 引用某位大佬的解释就是 “php在window的时候如果文件名+"::$DATA"会把::$DATA之后的数据当成文件流处理,不会检测后缀名.且保持"::$DATA"之前的文件名 他的目的就是不检查后缀名....” 验证 ...
分类：
其他好文 时间：
2019-08-17 18:29:02
阅读次数：
99
一、什么是Flink? Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。 二、Flink特点 1、现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型：流处理一般需要支持低延迟、Exactly-Once保证，而批处理一 ...
分类：
其他好文 时间：
2019-08-14 12:51:45
阅读次数：
81
消息过滤消息过滤是指消费者不希望消费topic里的所有消息，而是只消费部分特定的消息。从topic中挑选出这些特定的消息，就是所谓的消息过滤。通过消息过滤可以实现消息的分流处理，例如生产者生产的消息，header可能都是不尽相同的，这样我们就可以编写两个或多个消费者，对不同header的消息进行针对性的处理。SpringCloudStream实现消息过滤的方式主要有三种，一是使用@StreamLi
分类：
编程语言 时间：
2019-08-11 18:59:07
阅读次数：
167
Kafka是一个分布式的流平台，具有以下功能： 1.发布和订阅消息。 2.以容错的方式存储消息流。 3.实时的流处理。 主要的两大应用： 1.作为实时的流数据通道，在应用程序之间传递消息。 2.构建实时流处理，对数据流进行转换或反应。 四个核心的API: Producer API(输出向),Cons ...
分类：
编程语言 时间：
2019-08-02 14:34:53
阅读次数：
99
NioEndpoint的Poller轮询器持续进行扫描是否有新的event()方法调用后产生新的event配置。 发现后执行AbstractProtocol.class中的process()方法进行处理，其实现类是AbstractProcessorLight.class的process()。proc ...
分类：
其他好文 时间：
2019-07-30 00:38:29
阅读次数：
102
通常说的大数据平台主要包括三部分： 数据相关的工具、产品和技术： – 批量数据采集传输sqoop，spark – 离线数据处理Hadoop，Hive，Spark – 实时流处理Storm，Spark Streaming，Flink ? 数据资产： – 公司业务本身产生和沉淀的数据 – 公司运作产生的 ...
分类：
其他好文 时间：
2019-07-25 00:46:13
阅读次数：
176
