第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
一、项目背景 目前后端接口几乎都完成了自动化梳理，每天定时跑所有的自动化接口，项目上线前手动跑接口，进行接口回归。虽然跑出来数据量很大，能再单次运行中，看到结果。但是如此大的数据，频率也大的情况下。将这些数据分析下，以图表的形式展示出来，会更加直观的看到后端接口的问题，看到我们所有的数据。 二、技术 ...
分类：
其他好文 时间：
2021-06-28 19:59:49
阅读次数：
0
Pandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素 ...
分类：
编程语言 时间：
2021-06-28 19:35:57
阅读次数：
0
一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
自动化运维平台架构图 微服务部署和监控运维框架图 云原生下的DevOps自动化运维 多环境#交易系统#DevOps架构 基于大数据智能化的自助终端远程运维服务架构 自动化运维全流程 ...
分类：
其他好文 时间：
2021-06-28 18:10:44
阅读次数：
0
一、简介 1 设计目标 1.1 设计一个基于GUI的学生成绩管理与分析系统 （1）设计一个插入背景的登录界面 （2）以某班某课成绩为研究对象，设计几个对话框，实现： 1.2 查询功能： 点击学生姓名，在列表视图显示相应的学号、成绩 1.3 统计功能： 读取数据库的学生成绩信息，进行统计从而绘制该课程 ...
分类：
其他好文 时间：
2021-06-25 17:22:17
阅读次数：
0
无锡、佛山、合肥、大连、福州、厦门、哈尔滨、济南、温州、南宁、长春、泉州、石家庄、贵阳、常州、南通、嘉兴、太原、徐州、南昌、金华、惠州、珠海、中山、台州、烟台、兰州、绍兴、海口、扬州 工业X-RAY检测设备可用于锂电池检测等电池行业，电路板行业，半导体封装，汽车行业，电路板组装（PCBA）行业等，以 ...
分类：
Web程序 时间：
2021-06-25 17:04:16
阅读次数：
0
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类：
其他好文 时间：
2021-06-25 16:43:35
阅读次数：
0
什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
一、漏斗分析是什么？ 我们都知道，漏斗分析是数据分析中的一个重要方法。漏斗分析是能够在用户行为和数据方面客观反映用户的行为状态以及从起点到终点各阶段用户的转化率情况的这么一款分析模型。 以营销漏斗模型为例，营销漏斗模型指的是营销过程中，将非潜在客户逐步变为客户的转化量化模型。营销漏斗模型的价值在于量 ...
分类：
其他好文 时间：
2021-06-23 17:16:35
阅读次数：
0
