认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍： 一、 Hadoop组件 由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于 ...
分类：
其他好文 时间：
2020-10-29 10:11:31
阅读次数：
19
一.ISO七层协议 应用层 应用层 表示层 会话层 传输层 传输层 网络层 网络层 数据链路层 物理层 物理层 物理层:为数据端设备提供原始比特流的传输的通路 网络通信的数据传输介质,由电缆与设备共同构成(网线,中继器) 数据链路层(MAC): 在通信实体间建立数据链路连接 将数据分帧,并处理流控制 ...
分类：
其他好文 时间：
2020-10-24 10:29:26
阅读次数：
24
开源mongodb代码规模数百万行，本篇文章内容主要分析mongodb网络传输模块内部实现及其性能调优方法，学习网络IO处理流程，体验不同工作线程模型性能极致设计原理。另外一个目的就是引导大家快速进行百万级别规模源码阅读，做到不同大工程源码”举一反三”快速阅读的目的。
此外，mognodb网络工作线程模型设计非常好，不仅非常值得数据库相关研发人员学习，中间件、分布式、高并发、服务端等相关研发人员也可以借鉴，极力推荐大家学习。
分类：
数据库 时间：
2020-10-24 09:57:49
阅读次数：
25
部分内容直接摘抄阿里官网作为背景和概述：背景在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中，要求数据库提供高性能的计算服务，存储海量数据，同时对接多种BI分析工具。单一的数据库很难实现以上所有功能，您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储，
分类：
其他好文 时间：
2020-10-05 22:00:02
阅读次数：
31
该原创文章首发于微信公众号：字节流动本文将利用FFmpeg对一个Mp4文件的视频流进行解码，然后使用libswscale将解码后的YUV帧转换为RGBA帧，最后使用ANativeWindow进行渲染。FFmpeg视频解码参考雷霄骅博士的音视频处理流程图，我们大概了解了本节的处理流程：（Mp4文件）解协议->解封装->视频解码->缩放或格式转换->渲染。关于FFmpeg需要了
socketserver框架主要是使用ServerClass跟RequestHandlerClass两大类。ServerClass处理服务端与客户端的通讯RequestHandlerClass处理数据的解析，接收和发送；主要的业务逻辑ServerClassBaseServer抽象基类TCPServer处理流式套接字UnixStreamServer处理本地处理流式套接字，只适用UNIX平台UDPSe
分类：
其他好文 时间：
2020-09-17 19:05:33
阅读次数：
24
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类：
其他好文 时间：
2020-09-11 16:03:01
阅读次数：
41
USDT跑分是借助与高精尖的区块链技术来实现数字货币跑分支付的一种全新商业模式，代理商只需要向平台充值一定的USDT作为押金，平台就会成为为其合成一个多功能的聚合收款码，而充值玩家通过支付方的对接，将法币打给个人承兑商，承兑商确认到账，将币放行支付方（担保者），确认到账后结算商户通过AIP数据接口，展现聚合码回调，给客户上积分，同事代理商即可获利一定比例的收款佣金。
分类：
其他好文 时间：
2020-09-04 17:43:28
阅读次数：
80
今天这篇文章主要来介绍下Nginx的reload流程。实际上在之前文章中，在更改了nginx配置文件时，我们都会执行nginx-sreload命令，我们执行这条命令的原因是希望nginx不停止服务始终在处理新的请求的同时把nginx的配置文件平滑的把旧的nginx.conf配置更新为新的nginx.conf配置。这样一个功能对于nginx非常有必要，但是有时候我们会发现在执行nginx-srelo
分类：
其他好文 时间：
2020-08-27 13:11:40
阅读次数：
47
防火墙数据包转发流程
1、查询会话前的基本处理
2、查询会话表中
3、对通过安全检测后的流量进行正确的转发
分类：
其他好文 时间：
2020-08-26 17:14:36
阅读次数：
119
