需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
实战案例——应用系统基础服务安装 1. 规划节点 IP地址 主机名 节点 172.16.51.29 mall 单节点服务器 2. 基础准备 使用VMWare Workstation软件安装CentOS 7.2操作系统，镜像使用提供的CentOS-7-x86_64-DVD-1511.iso，最小化安装 ...
分类：
数据库 时间：
2021-04-29 12:00:35
阅读次数：
0
实战案例——Docker引擎的安装 案例目标 （1）了解Docker引擎和系统架构。 （2）了解Docker引擎的部署和基本配置。 （3）掌握Docker引擎的基本使用。 案例分析 1. 规划节点 Docker部署节点规划见表7-3-1。 表7-3-1 节点规划 IP 主机名 节点 10.24.2. ...
分类：
其他好文 时间：
2021-04-29 11:59:13
阅读次数：
0
异步 asyncio、async、await 异步非阻塞 tronado、fastapi、django3.x asgi、sanic、aiohttp都在异步——>提升性能 协程 asyncio模块进行异步编程 实战案例 1.协程 协程不是计算机提供的，是程序员人为创造的。 协程（Coroutine）， ...
分类：
编程语言 时间：
2021-04-27 14:36:58
阅读次数：
0
实战案例—使用PXE工具批量部署服务器 【案例分析】 （1）规划节点 IP地址 主机名 节点 备注 192.168.200.10 localhost PXE 版本为centos6 64位 192.168.200.20 controller controller 版本为centos7 64位 （2）在 ...
分类：
其他好文 时间：
2021-02-26 13:09:15
阅读次数：
0
词频统计： 要求：统计Harry Potter.txt文件中出现最多单词前十位 内容样例： 代码及结果： @Test//词频统计 def WordCount(): Unit ={ val conf=new SparkConf().setMaster("local[6]").setAppName("w ...
分类：
其他好文 时间：
2021-01-18 11:17:13
阅读次数：
0
本文节选自《高可用可伸缩微服务架构：基于Dubbo、SpringCloud和ServiceMesh》一书，程超等著，由电子工业出版社博文视点出版，已获得授权。近年来微服务架构已经成为大规模分布式架构的主流技术，越来越多的公司已经或开始转型为微服务架构。本书不以某一种微服务框架的使用为主题，而是对整个微服务生态进行系统性的讲解，并结合工作中的大量实战案例为读者呈现一本读完即可实际上手应用的工具书。一
分类：
其他好文 时间：
2020-12-18 12:15:24
阅读次数：
2
从端口读数据读取到本地文件 #1.给三个组件命名 a3.sources = r1 a3.channels = c1 a3.sinks = k1 #2.给source组件属性赋值 a3.sources.r1.type = avro a3.sources.r1.bind = hadoop102 a3.s ...
分类：
Web程序 时间：
2020-12-14 12:51:33
阅读次数：
7
在对诸如订单、交易、支付等实时在线业务系统的研发、维护过程中，随着业务量的快速增长，我们经常会遇到由于关系型数据库（如:MySql）单表数据量增长过大而引发的线上事故；虽然这些事故多数时候是由于不合理的慢SQL而引起的系统雪崩，但有时也会出现由于数据库热点块IO争用而引发的系统性性能下降。总之，单表数据量的无限增长总是会在这样或那样的情况下增加系统的不稳定性因素。
分类：
数据库 时间：
2020-09-23 23:29:00
阅读次数：
49
第一部分 分析背景及数据说明 1.1 分析背景 中国电商行业经过初期的粗狂式发展，从有货就能卖的模式逐渐转变到精细化运营的模式，通过对大量数据进行深入分析，发现数据背后的用户需求逐渐伴随在电商运营的工作中。随着电商行业发展日趋成熟，加上对于数据的重视，数据基础平台以及数据库的完善，所收集到的数据更加 ...
分类：
数据库 时间：
2020-09-17 21:59:56
阅读次数：
39
